Жасанды интеллектіге негізделген «Tilqazyna» қазақ тілін оқыту моделі» жарияланды

Қазақстан Республикасының Ғылым және жоғары білім министрлігі Тіл саясаты комитетіне қарасты «Тіл-Қазына» ұлттық ғылыми-практикалық орталығы жасанды интеллектіге негізделген «Tilqazyna қазақ тілін оқыту моделінің» алғашқы нәтижесін жариялады, деп хабарлайды El.kz ақпарат агенттігі.

Модель қазіргі кезде қазақ тілінің лексика, морфология және семантика т.б салаларындағы, оның ішінде, қазақ тілінде мәтінді генерациялау, перифраз жасау, контекстпен жұмыс істеу, ықшамдау, сонымен қатар грамматикалық және пунктуациялық қателерді түзету, фразеологизмдердің мәнін ашу, терминдерді аудару сияқты тапсырмаларды орындай алады.  

Бұл салалық LLM моделі бүгінде Hugging Face платформасына жүктелді. Яғни, ол барлық қолданушыға қолжетімді. Осы модельді қолдану арқылы жасанды интеллекті көмегімен жүзеге асырылатын көптеген қазақша IT өнімдер дайындауға болады. Бұл Президент Қасым-Жомарт Тоқаевтың Жолдауында баса айтқанындай, “жасанды интеллектіні кеңінен қолданатын және цифрлық технологияларды дамытып жатқан елге айналуға” зор мүмкіндіктер береді.

Модельді жасау барысында «Тіл-Қазына» орталығы сарапшылары табиғи тілді өңдеу алгоритмдерін қолданып, үлкен көлемдегі деректерді мақсатты түрде өңдеді. Атап айтсақ,

• сөздерді тексеру мақсатына 684 876 сөзқолданыс (лексикалық бірлік) қолданылды;
• сөз тіркестерін тексеру жүйесін жетілдіру үшін 20 212 қатар сөз тіркесінің дұрыс және қате нұсқалары қолданылды;
• пунктуациялық қателерді түзету мақсатында 5 558 мәтін талданды;
• мәтін құрылымын түзету үшін 3 000 мәтіннің дұрыс/бұрыс нұсқасы әзірленді;
• сөйлемді ықшамдау функциясы үшін 6 000 сөйлемнің толық және ықшамдалған контент базасы жасалды;
• перифраз функциясы үшін 14 790 синонимдік қатар жинақталды;
• жалпы қазақ тілінің 35 ГБ өңделген корпусы қолданылды.

Биыл модельге сөйлесу (дауыстық) функциясы қосылып, қолданушылар үшін ыңғайлы интерфейс әзірленеді. Сонымен қатар жоба A1, A2 және B1 деңгейлері бойынша тіл үйретуге қабілетті болса, 2026 жылы B2, C1 деңгейінде оқыта алады.

Жобаның соңғы нәтижесі ретінде кез келген тіл үйренушінің деңгейіне сай жеке оқыту бағдарламасын дайындап, үйретуге қабілетті дауыстық көмекші жасалады. Ол IOS және Android жүйелерінде жұмыс істейтін мобильді қосымша түрінде ұсынылады.