Меньше параметров – больше ума: как учёные сделали ИИ умнее без роста мощности

Исследователи из Национального университета Сингапура, Принстона и Университета Иллинойса выяснили, что размер модели не главное. По их данным, искусственный интеллект с 4 миллиардами параметров способен догнать и даже превзойти системы в восемь раз мощнее – если обучен правильно, пишет El.kz со ссылкой на Decoder.

Главный секрет – реальные данные. Модель, обученная на настоящих примерах рассуждений, показала точность почти 30% на математическом тесте AIME, тогда как аналог, использовавший синтетические данные, набрал менее 10%. Реальные наборы позволяют ИИ видеть весь ход решения – от анализа задачи до самопроверки.

Второй ключевой момент – алгоритм обучения. Лучшие результаты дала схема GRPO-TCR, где система оценивает каждый токен и получает «баллы» за точные и лаконичные ответы. Такой подход поднял точность до 70%.

И наконец – стратегия мышления. Учёные заметили: модели, которые размышляют дольше, но действуют реже, совершают меньше ошибок. Вывод прост – умный ИИ должен не спешить, а думать.

El.kz также писал о том, что с помощью ИИ в Казахстане планируют переобучить миллион человек к 2030 году.