Македонски ВИ податоци 2026: дигитален суверенитет
Автор: Suad Seferi · Политики и управување · 2026-02-09 · 4 мин. читање
Преглед на македонските јазични податоци за ВИ во јануари 2026: корпусот LVSTCK, квалитетот, празнините и планот за дигитален суверенитет.
Податоците на македонски јазик за вештачка интелигенција достигнаа 3,53 милијарди зборови во јануари 2026. Оваа бројка звучи како успех. Но мора да погледнеме подалеку од вкупниот обем. Филтрирањето за висок квалитет го намалува овој износ на 1,47 милијарди зборови погодни за обучување. Градиме врз дигитално тесно грло. Успешноста на вашата ВИ зависи од квалитетот и разновидноста на овие зборови.
Тековниот фонд
Македонскиот корпус LVSTCK е главната основа за локалниот развој. Овој ресурс обединува повеќегодишни меѓународни и локални напори.
Вкупен необработен обем: 37,6 GB.
Прочистени и единствени податоци: 16,78 GB.
Зборови за обучување: 1,47 милијарди.
Приближен број токени: 1,9 милијарди.
Скриптите за обработка отстраниле 55% од необработените податоци преку дедупликација. Високиот степен на повторување покажува големо преклопување меѓу изворите. Веб-прибирањето обезбедува над 80% од зборовите. Поделбата по извори ги вклучува следните придонеси:
HPLT-v2: 1,49 милијарди зборови (42,21%).
FineWeb2: 1,33 милијарди зборови (37,66%).
CLARIN MaCoCu-mk 2.0: 0,49 милијарди зборови (13,92%).
Институционални документи: 0,14 милијарди зборови (4,07%).
Wikipedia: 0,07 милијарди зборови (1,96%).
Вести на SETimes: 0,004 милијарди зборови (0,13%).
Јазот во обемот
Македонскиот останува јазик со ограничени ресурси. Работиме со фонд на податоци 100 до 200 пати помал од англиските или германските корпуси. Овој недостиг поставува горна граница на успешноста. Моделите обучени на 1,47 милијарди зборови имаат тешкотии со расудувањето и длабочината во споредба со глобалните референтни модели.
Споредба со сродни јазици:
Македонски: 34 GB на милион говорители.
Бугарски: 1,5–2,3 GB на милион говорители.
Српски: 2–2,5 GB на милион говорители.
Словенечки: 0,5–1 GB на милион говорители.
Вкупниот обем за соседните словенски јазици често ги надминува нашите обработени податоци. Мора да го премостиме овој јаз за да обезбедиме дигитален суверенитет.
Замката на квалитетот
Количината не е еднаква на интелигенција. Прекумерното потпирање на прибирање од веб внесува шум.
Ниска согласност меѓу луѓето: човечките анотатори се согласуваат за корисноста на македонскиот текст во збирката OSCAR само во 48,5% од случаите.
Нерамнотежа на писмото: 99% од податоците за обучување се на кирилица. Корисниците често пишуваат со латинична транслитерација во дигиталната комуникација. Моделите не ги обработуваат овие записи ефикасно.
Синтаксички проблеми: потпирањето на машински преведени тестови создава неприродни формулации. Моделите учат да зборуваат македонски според англиска или српска логика.
Пристап до податоците
Овие ресурси се достапни преку следните портали.
HuggingFace: Ги содржи необработените, прочистените и дедуплицираните збирки LVSTCK.
CLARIN.SI: Го обезбедува веб-корпусот MaCoCu-mk 2.0 и анотираните статии од Wikipedia.
OPUS: Нуди паралелни корпуси за преведувачки задачи.
Leipzig Corpora Collection: Содржи 433,4 милиони токени од веб-прибирањето во 2019.
Информации што недостигаат
Постојат значајни празнини во тековниот екосистем на податоци. На вашата ВИ ѝ недостига пристап до стручни и историски контексти.
Правни и регулаторни: Опфатот останува ограничен на Службениот весник. Судските одлуки и посебните прописи не се дигитализирани за употреба во ВИ.
Академски и научни: Не постои обединета архива за универзитетски истражувања или трудови. Научната терминологија е слабо застапена.
Историски и книжевни: Текстовите од пред 2000 се ретки. Веб-прибирањето е насочено кон понови содржини од 2019 до 2024.
Аудиовизуелни: Транскриптите на емитуван говор и усните истории недостигаат од збирките за обучување.
Методологија и проверка
Истражувањето на овие збирки следи повеќефазен пристап.
Стратегија на пребарување: Изворите вклучуваат специјализирани складишта како HuggingFace и CLARIN.SI. Академските трудови од 2020 до 2025 го обезбедуваат контекстот.
Критериуми за избор: Збирките мора да бидат изрично означени како македонски и јавно достапни. Резимеа без оригинална документација се исклучуваат.
Процена на обемот: Предност имаат пријавените мерења. Бројот на токени се проценува со сооднос од 1 збор кон 1,3 токени.
Проверка: Директните линкови за преземање се проверуваат во изворните складишта. Мерките за квалитет доаѓаат од рецензирани студии објавени во 2024.
Стратешки план за Северна Македонија
Мора да преминеме од пасивно прибирање кон стратешко уредување на податоците. На Северна Македонија ѝ е потребен структуриран план за ерата на генеративната интелигенција.
Краткорочни приоритети:
Дигитализација на државните документи: Систематскиот пристап до законите и административните записи ќе додаде 0,5 до 1 милијарда зборови.
Обединување на архивите на вести: Обединетата новинарска архива обезбедува висококвалитетен формален јазик.
Проверка на постојните податоци: Мора да го провериме квалитетот на повеќејазичните збирки за да отстраниме контаминација.
Среднорочни цели:
Дигитализација со заедницата: Соработка со МАНУ и УКИМ за скенирање историски книги и книжевни дела.
Создавање тематски корпуси: Создавање специјализирани збирки за медицина, инженерство и финансии.
Премостување на јазот меѓу писмата: Развој на паралелни кирилично-латинични податоци за подобра отпорност на моделите.
Долгорочна стратегија:
Воспоставување национален корпус: на Северна Македонија ѝ е потребен стандардизиран и урамнотежен национален корпус. Соседите како Бугарија и Србија веќе користат ваква инфраструктура.
Корпус на дијаспората и наследството: документирање на употребата на македонскиот јазик во меѓународните заедници.
Следење на јазикот: создавање временски корпус за следење на граматичките и лексичките промени.
Ризици и пристрасности
Недостигот на податоци создава специфични ризици за вашата стратегија за ВИ.
Прекумерно приспособување: моделите ја усвојуваат неформалната синтакса од веб-коментарите и имаат тешкотии со формалното пишување.
Недоволен вокабулар: нема доволно технички термини за изградба на професионални алатки.
Пристрасност во застапеноста: веб-податоците претежно ги претставуваат урбаните и образованите населенија.
Геополитичка пристрасност: веб-прибирањето ги одразува уредувачките одлуки на доминантните извори на вести за чувствителни теми.
Завршна процена
Основата за македонска ВИ постои. Корпусот LVSTCK е главната пресвртница. Но зборовите сами по себе не се доволни. Мора да се насочиме кон уредување на податоците и институционални партнерства. Дигиталниот суверенитет бара локална сопственост над нашите јазични ресурси.