big data: maqsad va yo‘nalish

PDF 13 стр. 222,8 КБ Бесплатная загрузка

Предварительный просмотр (5 стр.)

Прокрутите вниз 👇
1 / 13
mavzu:big data:maqsad va yo‘nalish. mavzu:big data:maqsad va yo‘nalish. reja: 1. katta ma'lumotlarning xususiyatlari 2. ma'lumotlarni tasniflash 3. ma'lumotlar manbalari 4. katta ma'lumotlarni saqlashga yondashuvlar 5. katta ma'lumotlar vositalari oddiy so'z bilan aytganda big data - bu tuzilgan, yarim tizimli yoki tuzilmagan katta hajmdagi ma'lumotlar. ko'pgina sohalar uchun dolzarb bo'lishiga qaramay, atamaning chegaralari xiralashgan va muayyan vazifaga qarab farq qilishi mumkin. biroq, 2001 yilda meta group tomonidan aniqlangan uchta asosiy xususiyat mavjud. ular vvv qisqartmasini oldilar: turli xillik. ma'lumotlarning xilma-xilligi. agar juda ko'p ma'lumot bo'lsa ham, lekin u aniq va aniq tuzilishga ega bo'lsa ham, bu big data emas. vkontakte misoliga qaytadigan bo'lsak, ijtimoiy tarmoq foydalanuvchilarining tarjimai hollari tuzilgan va tahlil qilish oson. ammo xabarlarga reaktsiyalar yoki ilovada o'tkaziladigan vaqt to'g'risidagi ma'lumotlar aniq tuzilishga ega emas. ma'lumotlarni tasniflash • strukturaviy ma'lumotlar. odatda relyatsion ma'lumotlar bazalarida saqlanadi. ma'lumotlarni jadval darajasida tashkil qiling - masalan, excel. katta ma'lumotlar excelning o'zida tahlil qilinadigan ma'lumotlardan …
2 / 13
ratsiyalari va bankomatlar bilan o'zaro aloqada paydo bo'ladi: pul o'tkazmalari, xaridlar, etkazib berish. mashina ma'lumotlarining manbai smartfonlar, iot gadjetlari, avtomobillar va boshqa jihozlar, sensorlar, kuzatuv tizimlari va sun'iy yo'ldoshlardir. manbadan ma'lumotlar qanday olinadi dastlabki bosqich ma'lumotlarni tozalash - xatolarni, ahamiyatsiz ma'lumotlar va ma'lumotlar nomuvofiqliklarini aniqlash, tozalash va tuzatish. jarayon proksi-serverlar, noaniqliklar, etishmayotgan qiymatlar va farqlarni baholaydi. odatda, ma'lumotlar qazib olish jarayonida o'zgartiriladi. big data mutaxassislari qo'shimcha metadata, vaqt belgilari yoki geolokatsiya ma'lumotlarini qo'shadilar. strukturaviy ma'lumotlarni olishning ikkita usuli mavjud: • o'zgarishlarni kuzatishga hojat qoldirmasdan to'liq ekstraktsiya. jarayon oddiyroq, lekin tizimdagi yuk ko'proq. • incremental ekstraktsiya. manba ma'lumotlaridagi o'zgarishlar oxirgi muvaffaqiyatli qidiruvdan keyin kuzatiladi. buning uchun o'zgartirish jadvallarini yarating yoki vaqt belgilarini tekshiring. ko'pgina omborlarda ma'lumotlar holatini saqlashga imkon beruvchi o'rnatilgan o'zgarishlar ma'lumotlarini yozib olish (cdc) funksiyasi mavjud. incremental qayta olish mantig'i murakkabroq, ammo tizimdagi yuk kamayadi. • tarkibi bo'lmagan ma'lumotlar bilan ishlashda ko'p vaqt ajratib olishga tayyorgarlik ko'rishga sarflanadi. ma'lumotlar …
3 / 13
ntsipi mavjud: • gorizontal masshtablash. tizim kengayishi kerak. agar ma'lumotlar hajmi oshgan bo'lsa, serverlarni qo'shish orqali klasterning kuchini oshirish kerak. • xatolarga chidamlilik. qayta ishlash juda ko'p hisoblash quvvatini talab qiladi, bu esa nosozliklar ehtimolini oshiradi. katta ma'lumotlar doimiy ravishda real vaqtda qayta ishlanishi kerak. • hudud. klasterlar ma'lumotlarning joylashishi printsipidan foydalanadilar - qayta ishlash va saqlash bitta mashinada amalga oshiriladi. ushbu yondashuv serverlar o'rtasida ma'lumot uzatish uchun quvvat sarfini kamaytiradi. • katta ma'lumotlarni tahlil qilish: veb-resurs ishlab chiqarishdan tahliliy vizualizatsiyagacha • ma'lumotlarni qidirish - bu tasniflash, modellashtirish va prognozlash uchun yondashuvlar to'plami. • tahlil matn, tasvir, audio va video ma'lumotlar bo'lishidan qat'i nazar, har xil turdagi ma'lumotlarni olishni o'z ichiga olishi mumkin. alohida-alohida, internet va ijtimoiy tarmoqlar bilan ishlaydigan veb-mayning va ijtimoiy media konlari mavjud. relyatsion ma'lumotlar bazalari saqlangan ma'lumotlarni yaratish, o'zgartirish va olish uchun mos bo'lgan sql dasturlash tilidan foydalanadi. neyron tarmoqlar. o'qitilgan neyron tarmoq juda katta hajmdagi …
4 / 13
klga aylantirish usullari biznes razvedkasi deb ataladi. asosiy bi vositasi - bu asboblar paneli, tasvirlar va diagrammalar ko'rinishidagi tahlillarni sharhlash va vizualizatsiya qilish. boshqaruv panellari kpi larga e'tibor qaratish, biznes modellarini yaratish va qabul qilingan qarorlar natijalarini kuzatishga yordam beradi. katta ma'lumotlar vositalari tarqalgan hisoblash usullaridan biri google tomonidan ishlab chiqilgan mapreduce parallel ishlov berish usulidir. ramka ma'lumotlarni yozuvlar shaklida tartibga soladi. funktsiyalar mustaqil ravishda va parallel ravishda ishlaydi, bu esa gorizontal miqyoslilik printsipiga muvofiqligini ta'minlaydi. qayta ishlash uch bosqichda amalga oshiriladi: xarita. funktsiya foydalanuvchi tomonidan belgilanadi, xarita dastlabki ishlov berish va filtrlash uchun xizmat qiladi. funktsiya bitta kirish yozuviga qo'llaniladi va ko'plab kalit-qiymat juftlarini hosil qiladi. u ma'lumotlar saqlanadigan serverda qo'llaniladi, bu mahalliylik printsipiga mos keladi. aralash. xarita chiqishi savatlarga ajratiladi. har biri birinchi bosqichning bitta chiqish kalitiga mos keladi, parallel tartiblash sodir bo'ladi. "savatlar" uchinchi bosqichga kirish vazifasini bajaradi. kamaytirish. qiymatlarning har bir "savati" kamaytirish funksiyasining kiritilishiga o'tadi. …
5 / 13
che spark kutubxonalar to'plami operativ xotirada hisob-kitoblarni amalga oshiradi, bu ko'plab muammolarni hal qilishni sezilarli darajada tezlashtiradi va mashinani o'rganish uchun mos keladi. • nosql - aloqador bo'lmagan ma'lumotlar bazasi turi. ma'lumotlarni saqlash va qidirish jadval munosabatlaridan tashqari boshqa vositalar bilan modellashtirilgan. axborotni saqlash uchun oldindan belgilangan ma'lumotlar sxemasi talab qilinmaydi. ushbu yondashuvning asosiy afzalligi shundaki, har qanday ma'lumotlarni tezda joylashtirish va saqlashdan olish mumkin. bu atama "nafaqat sql" degan ma'noni anglatadi.

Хотите читать дальше?

Скачайте все 13 страниц бесплатно через Telegram.

Скачать полный файл

О "big data: maqsad va yo‘nalish"

mavzu:big data:maqsad va yo‘nalish. mavzu:big data:maqsad va yo‘nalish. reja: 1. katta ma'lumotlarning xususiyatlari 2. ma'lumotlarni tasniflash 3. ma'lumotlar manbalari 4. katta ma'lumotlarni saqlashga yondashuvlar 5. katta ma'lumotlar vositalari oddiy so'z bilan aytganda big data - bu tuzilgan, yarim tizimli yoki tuzilmagan katta hajmdagi ma'lumotlar. ko'pgina sohalar uchun dolzarb bo'lishiga qaramay, atamaning chegaralari xiralashgan va muayyan vazifaga qarab farq qilishi mumkin. biroq, 2001 yilda meta group tomonidan aniqlangan uchta asosiy xususiyat mavjud. ular vvv qisqartmasini oldilar: turli xillik. ma'lumotlarning xilma-xilligi. agar juda ko'p ma'lumot bo'lsa ham, lekin u aniq va aniq tuzilishga ega bo'lsa ham, bu big data emas. vkontakte misoliga qaytadigan bo'lsak, ijtimoiy tarm...

Этот файл содержит 13 стр. в формате PDF (222,8 КБ). Чтобы скачать "big data: maqsad va yo‘nalish", нажмите кнопку Telegram слева.

Теги: big data: maqsad va yo‘nalish PDF 13 стр. Бесплатная загрузка Telegram