teskariindeks

PPTX 44 стр. 653,0 КБ Бесплатная загрузка

44 стр.

FaylHub.uz

Скачать через Telegram

Размер 653,0 КБ

Тип файла PPTX

Страницы 44

Обновлено Дек 2025

Предварительный просмотр (5 стр.)

Прокрутите вниз 👇

1 / 44

title teskari indeks: lug‘at va posting ro‘yxati qidiruv tizimining umumiy tuzulishi internet sahifa crawler indeksator kesh normallashgan hujjatlar so’rov so’rovlarni qayta ishlash qidiruv mashinasi saralash (ranging) natija tokenizer tokenlar friends romans countrymen teskari indeks qurilishi lingvistik modullar o'zgartirilgan tokenlar friend roman countryman indexer teskari indeks friend roman countryman 2 4 2 13 16 1 indekslash uchun hujjatlar (docs) friends, romans, countrymen. sec. 1.2 indekslash bosqichlari: tokenlar ketma-ketligi (o'zgartirilgan token, document id) juftliklari ketma- ketligi. i did enact julius caesar i was killed i’ the capitol; brutus killed me. doc 1 so let it be with caesar. the noble brutus hath told you caesar was ambitious doc 2 sec. 1.2 indekslash bosqichlari: saralash atamalar bo’yicha saralash hech bo'lmaganda kontseptual jihatdan son’gra docid bo’yicha indekslashning asosiy (core ) bosqichi sec. 1.2 indekslash bosqichlari: dictionary & postings bitta hujjatdagi bir nechta atama yozuvlari birlashtiriladi. lug'at va postings larga bo'linadi doc. chastota ma'lumotlari qo'shiladi. …

2 / 44

ktron pochta haqida nima deyish mumkin? fayllar guruhi (masalan, ppt yoki latex html sahifalariga boʻlingan) sec. 2.1 tokenlar tokenlash tokenlash (segmentatsiya) – gaplarni so'z komponentlariga bo'lish jarayoni. lotin alifbosining ba'zi versiyasini ishlatadigan ingliz va boshqa ko'plab tillarda bo'sh joy yaxshi so'zni ajratuvchi hisoblanadi. 12 tokenizatsiya (tokenization) input: “friends, romans and countrymen” output: tokens friends romans countrymen token belgilar ketma-ketligining namunasidir har bir bunday token endi qayta ishlashdan so‘ng indeks kiritish uchun nomzod hisoblanadi quyida tavsiflangan lekin qanday tokenlar chiqarish mumkin? sec. 2.2.1 tokenizatsiya tokenizatsiya bilan bog'liq muammolar: finland’s capital  finland va s? finlands? finland’s? hewlett-packard  hewlett va packard xuddi ikki tokendek. nima qilish kerak? state-of-the-art: defislangan ketma-ketlikni ajrating. co-education lowercase, lower-case, lower case ? foydalanuvchini mumkin bo'lgan tire qo'yishga undash samarali bo'lishi mumkin san francisco: bitta yoki ikkita token? bu bitta token ekanligiga qanday qaror qildingiz? sec. 2.2.1 raqamlar (numbers) mar. 12, 1991 20/3/91 3/20/91 55 b.c. b-52 …

3 / 44

bo'sh joy yo'q: 莎拉波娃现在居住在美国东南部的佛罗里达。 har doim ham noyob tokenizatsiya kafolatlanmaydi yapon tilida yanada murakkab, bir nechta alifbolar aralashib ketgan bir nechta formatdagi sanalar/summalar フォーチュン500社は情報不足のため時間あた$500k(約6,000万円) katakana hiragana kanji romaji foydalanuvchi so'rovni to'liq hiragana tilida ifodalashi mumkin! sec. 2.2.1 tokenizatsiya: til muammolari arabcha (yoki ibroniycha) asosan o'ngdan chapga yoziladi, lekin ba'zi elementlar kabi raqamlar chapdan o'ngga yoziladi so'zlar ajratilgan, ammo so'z ichidagi harflar murakkab ligaturelarni hosil qiladi ← → ← → ← start ‘jazoir 132 yillik frantsuz istilosidan keyin 1962 yilda mustaqillikka erishdi.’ unicode bilan taqdimoti murakkab, ammo saqlangan shakl oddiy sec. 2.2.1 misol (tokenization) tokenlashning 2 xil turi mavjud: gaplarni tokenlash va so’zlarni tokenlash. from nltk.tokenize import word_tokenize, sent_tokenize text = "bugun magistrlarning barchasi tatuda. bu albatta bekorchilikdan emas!" print(word_tokenize(text)) print(sent_tokenize(text)) ['bugun', 'magistrlarning', 'barchasi', 'tatuda', '.', 'bu', 'albatta', 'bekorchilikdan', 'emas', '!'] ['bugun magistrlarning barchasi tatuda.', 'bu albatta bekorchilikdan emas!'] 19 atamalar (terms) stop words to'xtash ro'yxati bilan siz eng keng tarqalgan …

4 / 44

datda atamalarning ekvivalentlik sinflarini aniqlaymiz, masalan, atama hosil qilish uchun nuqtalarni olib tashlash u.s.a., usa  usa atama hosil qilish uchun tirelarni olib tashlash anti-discriminatory, antidiscriminatory  antidiscriminatory sec. 2.2.3 normalizatsiya: boshqa tillar urg'u: masalan, french résumé vs. resume. umlauts: masalan, nemis: tuebingen vs. tübingen ekvivalent bo'lishi kerak eng muhim mezon: foydalanuvchilar ushbu so'zlarga o'z so'rovlarini yozishni qanday yoqtirishadi? hatto standart aksentga ega bo'lgan tillarda ham foydalanuvchilar ko'pincha ularni yozmasliklari mumkin ko'pincha urg'usiz atamani normallashtirish yaxshidir tuebingen, tübingen, tubingen  tubingen sec. 2.2.3 normalizatsiya: boshqa tillar sana shakllari kabi narsalarni normallashtirish 7月30日 vs. 7/30 yaponiyaning kana va xitoycha belgilardan foydalanish tokenizatsiya va normalizatsiya tilga bog'liq bo'lishi mumkin va shuning uchun tilni aniqlash bilan bog'liq muhim: indekslangan matnni va so'rov shartlarini bir xilda "normallashtirish" kerak mit morgen will ich in … bu nemischa “mit”? sec. 2.2.3 terminlarni normallashtirish ekvivalent tasnifiga alternativa assimetrik kengaytma hisoblanadi. bu foydali bo'lishi mumkin bo'lgan misol enter: …

5 / 44

ya lemmatizatsiya (lemmatization) flektiv/variant shakllarini asosiy shaklga qisqartirish misol., am, are, is  be car, cars, car's, cars'  car the boy's cars are different colors  the boy car be different color lemmatizatsiya lug'at bosh so'z shaklini "to'g'ri" qisqartirishni nazarda tutadi. sec. 2.2.4 lemmatisation lemmatisation – tilshunoslikda lemmatizatsiya soʻzning oʻzaro kelishilgan shakllarini soʻz lemmasi yoki lugʻat shakli orqali aniqlangan bir element sifatida tahlil qilish uchun guruhlash jarayonidir. 29 stemming indekslashdan oldin atamalarni ularning “o’zagigacha" qisqartirish "stemming" affiksni olib tashlashni taklif qiladi tilga bog‘liq ravishda bajariladi misol., automate(s), automatic, automation barchasi automat ga qisqartiriladi. for example compressed and compression are both accepted as equivalent to compress. for exampl compress and compress ar both accept as equival to compress sec. 2.2.4 stemming stemming – bu kirish so’zning asosiy kelib chiqish o’zagini topish jarayonidir. bu qidiruv tizimlarida keng qo’llaniladigan stemming algoritmini o’z ichiga oladi. 31 natural language processing tabiiy tilni qayta ishlashda …

Хотите читать дальше?

Скачайте все 44 страниц бесплатно через Telegram.

Скачать полный файл

О "teskariindeks"

title teskari indeks: lug‘at va posting ro‘yxati qidiruv tizimining umumiy tuzulishi internet sahifa crawler indeksator kesh normallashgan hujjatlar so’rov so’rovlarni qayta ishlash qidiruv mashinasi saralash (ranging) natija tokenizer tokenlar friends romans countrymen teskari indeks qurilishi lingvistik modullar o'zgartirilgan tokenlar friend roman countryman indexer teskari indeks friend roman countryman 2 4 2 13 16 1 indekslash uchun hujjatlar (docs) friends, romans, countrymen. sec. 1.2 indekslash bosqichlari: tokenlar ketma-ketligi (o'zgartirilgan token, document id) juftliklari ketma- ketligi. i did enact julius caesar i was killed i’ the capitol; brutus killed me. doc 1 so let it be with caesar. the noble brutus hath told you caesar was ambitious doc 2 sec. 1.2 indekslash bosqichla...

Этот файл содержит 44 стр. в формате PPTX (653,0 КБ). Чтобы скачать "teskariindeks", нажмите кнопку Telegram слева.

Теги: teskariindeks PPTX 44 стр. Бесплатная загрузка Telegram