Të dhënat maqedonase për IA 2026: sovraniteti digjital
Autori: Suad Seferi · Politika dhe qeverisje · 2026-02-09 · 5 min lexim
Vështrim mbi të dhënat në maqedonisht për IA në janar 2026: korpusi LVSTCK, cilësia, boshllëqet dhe plani për sovranitetin digjital.
Të dhënat në gjuhën maqedonase për inteligjencën artificiale arritën 3,53 miliardë fjalë në janar 2026. Kjo shifër tingëllon si sukses. Por duhet të shohim përtej vëllimit të përgjithshëm. Filtrimi për cilësi të lartë e ul këtë sasi në 1,47 miliardë fjalë të përshtatshme për trajnim. Po ndërtojmë mbi një pengesë digjitale. Performanca e IA-së suaj varet nga cilësia dhe larmia e këtyre fjalëve.
Inventari aktual
Korpusi maqedonas LVSTCK ofron bazën kryesore për zhvillimin lokal. Ky burim bashkon disa vite përpjekjesh ndërkombëtare dhe lokale.
Vëllimi i përgjithshëm i papërpunuar: 37,6 GB.
Të dhëna të pastruara dhe unike: 16,78 GB.
Fjalë për trajnim: 1,47 miliardë.
Numri i përafërt i tokenëve: 1,9 miliardë.
Skriptet e përpunimit hoqën 55% të të dhënave të papërpunuara duke eliminuar dublikatat. Kjo përsëritje e lartë tregon mbivendosje të madhe mes burimeve. Mbledhja nga interneti siguron mbi 80% të fjalëve. Ndarja sipas burimeve përfshin këto kontribute:
HPLT-v2: 1,49 miliardë fjalë (42,21%).
FineWeb2: 1,33 miliardë fjalë (37,66%).
CLARIN MaCoCu-mk 2.0: 0,49 miliardë fjalë (13,92%).
Dokumente institucionale: 0,14 miliardë fjalë (4,07%).
Wikipedia: 0,07 miliardë fjalë (1,96%).
Lajmet e SETimes: 0,004 miliardë fjalë (0,13%).
Hendeku në shkallë
Maqedonishtja mbetet një gjuhë me burime të kufizuara. Po punojmë me një fond të dhënash 100 deri në 200 herë më të vogël se korpuset në anglisht ose gjermanisht. Kjo mungesë vendos një kufi të performancës. Modelet e trajnuara me 1,47 miliardë fjalë kanë vështirësi në arsyetim dhe thellësi krahasuar me modelet referuese globale.
Krahasimi me gjuhë të afërta:
Maqedonisht: 34 GB për një milion folës.
Bullgarisht: 1,5–2,3 GB për një milion folës.
Serbisht: 2–2,5 GB për një milion folës.
Sllovenisht: 0,5–1 GB për një milion folës.
Vëllimi i përgjithshëm për gjuhët sllave fqinje shpesh i tejkalon sasitë tona të përpunuara. Duhet ta kapërcejmë këtë hendek për të siguruar sovranitetin digjital.
Kurthi i cilësisë
Sasia nuk është e barabartë me inteligjencën. Mbështetja e tepërt te mbledhja nga interneti sjell zhurmë.
Pajtim i ulët mes njerëzve: anotuesit njerëzorë pajtohen për dobishmërinë e tekstit maqedonas në grupin e të dhënave OSCAR vetëm në 48,5% të rasteve.
Pabarazi e shkrimit: 99% e të dhënave të trajnimit përdorin cirilikun. Përdoruesit shpesh komunikojnë me transliterim latin në mjedise digjitale. Modelet nuk i përpunojnë këto forma me efikasitet.
Probleme sintaksore: mbështetja në teste të përkthyera automatikisht krijon formulime të panatyrshme. Modelet mësojnë të flasin maqedonisht me logjikën e anglishtes ose serbishtes.
Qasja në të dhëna
Këta burime mund të gjenden përmes portaleve të mëposhtme.
HuggingFace: Përmban grupet e të dhënave LVSTCK të papërpunuara, të pastruara dhe pa dublikata.
CLARIN.SI: Ofron korpusin e internetit MaCoCu-mk 2.0 dhe artikuj të anotuar të Wikipedia-s.
OPUS: Ofron korpuse paralele për detyra përkthimi.
Leipzig Corpora Collection: Përmban 433,4 milionë tokenë nga mbledhja në internet gjatë 2019.
Informacioni që mungon
Ekosistemi aktual i të dhënave ka boshllëqe të rëndësishme. IA-së suaj i mungon qasja në kontekste profesionale dhe historike.
Ligjore dhe rregullatore: Mbulimi mbetet i kufizuar te gazeta zyrtare. Vendimet gjyqësore dhe rregulloret e veçanta nuk janë digjitalizuar për përdorim në IA.
Akademike dhe shkencore: Nuk ekziston një arkiv i unifikuar i kërkimeve universitare ose tezave. Terminologjia shkencore është e pakët.
Historike dhe letrare: Tekstet nga para vitit 2000 janë të rralla. Mbledhja nga interneti përqendrohet te përmbajtjet më të reja nga 2019 deri në 2024.
Audiovizuale: Transkriptet e të folurit të transmetuar dhe historitë gojore mungojnë në grupet e trajnimit.
Metodologjia dhe verifikimi
Kërkimi mbi këto grupe të dhënash ndjek një qasje me disa faza.
Strategjia e kërkimit: Burimet përfshijnë depo të specializuara si HuggingFace dhe CLARIN.SI. Punimet akademike nga 2020 deri në 2025 ofrojnë kontekst.
Kriteret e përzgjedhjes: Grupet duhet të jenë shënuar shprehimisht si maqedonase dhe të jenë publikisht të arritshme. Përmbledhjet pa dokumentacion origjinal përjashtohen.
Vlerësimi i madhësisë: Metrikat e raportuara kanë përparësi. Numri i tokenëve përllogaritet me raportin 1 fjalë me 1,3 tokenë.
Verifikimi: Lidhjet e drejtpërdrejta të shkarkimit kontrollohen në depot burimore. Metrikat e cilësisë vijnë nga studime të rishikuara shkencërisht, botuar në 2024.
Një plan strategjik për Maqedoninë e Veriut
Duhet të kalojmë nga mbledhja pasive te përzgjedhja strategjike e të dhënave. Maqedonisë së Veriut i duhet një plan i strukturuar për epokën e inteligjencës gjeneruese.
Prioritetet afatshkurtra:
Digjitalizimi i dokumenteve shtetërore: Qasja sistematike në ligje dhe dokumente administrative do të shtojë 0,5 deri në 1 miliard fjalë.
Bashkimi i arkivave të lajmeve: Një arkiv i unifikuar i gazetarisë siguron gjuhë formale me cilësi të lartë.
Kontrolli i të dhënave ekzistuese: Duhet të verifikojmë cilësinë e grupeve shumëgjuhësore për të hequr kontaminimin.
Synimet afatmesme:
Digjitalizimi me komunitetin: Bashkëpunim me MANU dhe UKIM për skanimin e librave historikë dhe veprave letrare.
Ndërtimi i korpuseve sipas fushave: Krijimi i grupeve të specializuara për mjekësi, inxhinieri dhe financë.
Kapërcimi i hendekut mes shkrimeve: Zhvillimi i të dhënave paralele cirilike-latine për t'i bërë modelet më të qëndrueshme.
Strategjia afatgjatë:
Krijimi i një korpusi kombëtar: Maqedonisë së Veriut i duhet një korpus kombëtar i standardizuar dhe i balancuar. Fqinjët si Bullgaria dhe Serbia tashmë përdorin infrastruktura të tilla.
Korpusi i diasporës dhe trashëgimisë: dokumentimi i përdorimit të maqedonishtes në komunitetet ndërkombëtare.
Ndjekja e gjuhës: ndërtimi i një korpusi kohor për të ndjekur ndryshimet gramatikore dhe leksikore.
Rreziqet dhe paragjykimet
Mungesa e të dhënave sjell rreziqe të veçanta për strategjinë tuaj të IA-së.
Mbipërshtatja: modelet marrin sintaksën joformale të komenteve në internet dhe hasin vështirësi me shkrimin formal.
Fjalor i pamjaftueshëm: termat teknikë nuk mjaftojnë për ndërtimin e mjeteve profesionale.
Paragjykim në përfaqësim: të dhënat e internetit anojnë nga popullsitë urbane dhe të arsimuara.
Paragjykim gjeopolitik: mbledhja nga interneti pasqyron vendimet redaksionale të burimeve mbizotëruese të lajmeve për temat e ndjeshme.
Vlerësimi përfundimtar
Baza për IA në maqedonisht ekziston. Korpusi LVSTCK është arritja kryesore. Por vetëm fjalët nuk mjaftojnë. Duhet të përqendrohemi te përzgjedhja e të dhënave dhe partneritetet institucionale. Sovraniteti digjital kërkon zotërim lokal të burimeve tona gjuhësore.