mapreduce

DOC 10 стр. 267,0 КБ Бесплатная загрузка

10 стр.

FaylHub.uz

Скачать через Telegram

Размер 267,0 КБ

Тип файла DOC

Страницы 10

Обновлено Дек 2025

Предварительный просмотр (5 стр.)

Прокрутите вниз 👇

1 / 10

mavzu: katta xajimli ma`lumotlarni qayta ishlash texnologiyalari: mapreduce. reja: 1.maqsad va qo'llanish solalari 2.rivojlanish tarixi 3.mapreduce nima uchun yaxshi: modelning asosiy afzalliklari katta xajimli ma`lumotlarni qayta ishlashda qo`llanlayotgan mapreduce texnologiyalarini imkoniyatlari va kamchiliklari. mapreduce — google kompaniyasining taqsimlangan hisoblash modeli boʻlib, big data texnologiyalarida kompyuter klasterlaridagi juda katta (bir necha petabaytgacha) maʼlumotlar toʻplamlarida parallel hisoblash uchun foydalaniladi va klaster tugunlarida taqsimlangan vazifalarni hisoblash uchun asosdir. maqsad va qo'llanish solalari. mapreduce-ni haqli ravishda big dataning asosiy texnologiyasi deb atash mumkin, chunki. u dastlab taqsimlangan klasterlarda parallel hisoblashga qaratilgan. mapreduce-ning mohiyati ma'lumotlar massivini qismlarga bo'lishdan, har bir qismni alohida tugunda parallel ravishda qayta ishlashdan va nihoyat barcha natijalarni birlashtirishdan iborat. mapreduce-dan foydalanadigan dasturlar avtomatik ravishda parallellashtiriladi va taqsimlangan klaster tugunlarida bajariladi, ijro etuvchi tizimning o'zi esa amalga oshirish tafsilotlari bilan shug'ullanadi (kiritish ma'lumotlarini qismlarga bo'lish, klaster tugunlari bo'yicha vazifalarni taqsimlash, nosozliklarni bartaraf etish va taqsimlangan kompyuterlar o'rtasidagi aloqa). buning yordamida dasturchilar taqsimlangan …

2 / 10

ash, veb-havola grafigini oʻzgartirish, tarmoq jurnali statistikasini qayta ishlash, teskari indekslarni yaratish, hujjatlarni klasterlash, mashinani oʻrganish va statistik mashina tarjimasi kiradi. mapreduce shuningdek, ko'p protsessorli tizimlar, ixtiyoriy hisoblash, dinamik bulut va mobil muhitlar uchun moslashtirilgan. rivojlanish tarixi ushbu hisoblash modelining mualliflari google xodimlari jeffri din va sanjay gemavat bo'lib, ular ikkita funktsional dasturlash protseduralarini asos qilib oldilar: ro'yxatning har bir elementiga kerakli funktsiyani qo'llaydigan xarita va xarita natijalarini birlashtiradigan qisqartirish. hisoblash jarayonida kirish kalitlari/qiymat juftlari to'plami chiqish kalitlari/qiymat juftlari to'plamiga aylantiriladi. dastlab mapreduce nomi google korporatsiyasi tomonidan patentlangan, biroq big data texnologiyalari rivojlanishi bilan u katta maʼlumotlar dunyosining umumiy tushunchasiga aylandi. bugungi kunda ushbu taqsimlangan hisoblash modelidan foydalanadigan juda ko'p turli xil tijorat va bepul mahsulotlar mavjud: apache hadoop, apache couchdb, mongodb, myspace qizmt va boshqa big data ramkalar va turli dasturlash tillarida yozilgan kutubxonalar. mapreduce-ning boshqa taniqli ilovalari quyidagilarni o'z ichiga oladi: *greenplum - bu python, perl, sql va …

3 / 10

work - bu facebook-dan ochiq manbali qo'shimcha bo'lib, u *mapreduce yondashuvini va sql-ga o'xshash tilda ma'lumotlarga kirishni birlashtirish imkonini beradi; *qizmt - bu myspace-dan c# tilida yozilgan ochiq kodli dastur; *dryadlinq - bu plinq va dryad asosidagi microsoft research ilovasi. mapreduce qanday ishladi: ish prinsipi avvalo, hisoblash modelining asosiy funktsiyalarining ma'nosini yana bir bor tushuntirib beramiz map qiymatlar ro'yxatini va kirish sifatida ba'zi funktsiyalarni oladi, keyin u ro'yxatning har bir elementiga qo'llaniladi va yangi ro'yxatni qaytaradi; kamaytirish (konvolyutsiya) - berilgan funksiya yordamida ro'yxatni bitta atom qiymatiga aylantiradi, bu ro'yxatning yangi elementi va har bir iteratsiyada oraliq natijaga o'tadi. mapreduce hisoblash modeliga muvofiq ma'lumotlarni qayta ishlash uchun ushbu ikkala funktsiyani aniqlash, kirish va chiqish fayllarining nomlarini, shuningdek ishlov berish parametrlarini ko'rsatish kerak. hisoblash modelining o'zi yuqoridagi funktsiyalarning 3 bosqichli kombinatsiyasidan iborat. *map-katta shaklda kirishni oldindan qayta ishlash qiymatlar ro'yxati. bunday holda, asosiy klaster tuguni (master tugun) ushbu ro'yxatni oladi, uni qismlarga …

4 / 10

mmoning echimidir. katta ma'lumotlarning asosiy texnologiyasining yorqinligi va qashshoqligi: mapreduce-ning afzalliklari va kamchiliklari mapreduce-ni big data-ning asosi deb atash mumkin, chunki aynan shu texnologiya taqsimlangan klasterlarda parallel ravishda katta hajmdagi ma'lumotlarni qayta ishlashga imkon beradi. ushbu hisoblash modeli turli xil tijorat va bepul mahsulotlar tomonidan qo'llab-quvvatlanadi: apache hadoop, spark, greenplum, hive, mongodb, feniks, dryadlinq va boshqa big data turli dasturlash tillarida yozilgan ramkalar va kutubxonalar. bugun biz ushbu texnologiyaning asosiy afzalliklari va kamchiliklarini ko'rib chiqamiz va etakchi big data ishlab chiquvchilari uning asosiy muammolarini chetlab o'tishga qanday harakat qilishlari haqida gaplashamiz. mapreduce nima uchun yaxshi: modelning asosiy afzalliklari mapreduce-ning asosiy afzalliklari quyidagilardan iborat: katta hajmdagi ma'lumotlarni oldindan qayta ishlash (map) va yig'ish (kamaytirish) operatsiyalarini taqsimlangan bajarish qobiliyati. bunday holda, map funktsiyalari bir-biridan mustaqil ravishda ishlaydi va klasterning turli tugunlarida parallel ravishda bajarilishi mumkin. e'tibor bering, amalda bir vaqtning o'zida bajariladigan map funktsiyalari soni kirish manbai va ishlatilgan protsessorlar soni bilan …

5 / 10

ernativalari: avvalo, apache hadoop v1.0-da amalga oshirilgan mapreduce ramkasining birinchi versiyasi quyidagi cheklovlar bilan tavsiflanganligini ta'kidlaymiz *apache hadoop klasterining kengayish chegarasi: 4k dan ortiq hisoblash tugunlari va taxminan 40k parallel ish joylari; *kuchli bog'liqlik tarqatilgan algoritmni amalga oshiradigan tarqatilgan hisoblash va mijoz kutubxonalari doirasi; *bitta nosozlik nuqtalarining mavjudligi va yuqori ishonchlilik talablari bo'lgan muhitda foydalanishning mumkin emasligi; versiya muvofiqligi muammolari: *hadoop platformasini yangilashda (yangi versiya yoki xizmat paketini o'rnatish) barcha klaster hisoblash tugunlarini bir martalik yangilash zarurati. ushbu cheklovlar 2012 yilda chiqarilgan mapreduce 2.0 ning yangi versiyasida resurs menejeri (resourcemanager) va applicationmaster dastur koordinatori rejalashtiruvchisi va arn (another resource negotiator) ning paydo bo'lishi bilan bartaraf etildi. ushbu tarqatilgan dasturlarni bajarish uchun dasturiy ta'minot doirasi har xil turdagi tarqatilgan dasturlarni ishlab chiqish uchun komponentlar va api-larni taqdim etadi, bu esa bajariladigan dasturlarning so'rovlariga javoban resurslarni taqsimlashni va ularning bajarilish holatini kuzatish uchun javobgarlikni ta'minlaydi. shunga qaramay, ushbu yangiliklar ushbu hisoblash modelining …

Хотите читать дальше?

Скачайте все 10 страниц бесплатно через Telegram.

Скачать полный файл

О "mapreduce"

mavzu: katta xajimli ma`lumotlarni qayta ishlash texnologiyalari: mapreduce. reja: 1.maqsad va qo'llanish solalari 2.rivojlanish tarixi 3.mapreduce nima uchun yaxshi: modelning asosiy afzalliklari katta xajimli ma`lumotlarni qayta ishlashda qo`llanlayotgan mapreduce texnologiyalarini imkoniyatlari va kamchiliklari. mapreduce — google kompaniyasining taqsimlangan hisoblash modeli boʻlib, big data texnologiyalarida kompyuter klasterlaridagi juda katta (bir necha petabaytgacha) maʼlumotlar toʻplamlarida parallel hisoblash uchun foydalaniladi va klaster tugunlarida taqsimlangan vazifalarni hisoblash uchun asosdir. maqsad va qo'llanish solalari. mapreduce-ni haqli ravishda big dataning asosiy texnologiyasi deb atash mumkin, chunki. u dastlab taqsimlangan klasterlarda parallel hisoblashga qarati...

Этот файл содержит 10 стр. в формате DOC (267,0 КБ). Чтобы скачать "mapreduce", нажмите кнопку Telegram слева.

Теги: mapreduce DOC 10 стр. Бесплатная загрузка Telegram