ИИ начинает «думать» втайне – учёные бьют тревогу

Ведущие эксперты из OpenAI, DeepMind, Meta, Anthropic и других организаций предупредили: мы можем вскоре потерять способность понимать, как ИИ принимает решения. Об этом говорится в их совместной статье, которую подписали в том числе лауреат Тьюринга Джеффри Хинтон и сооснователь OpenAI Илья Суцкевер, пишет El.kz со ссылкой на ArXiv.

Современные ИИ-модели используют так называемые «цепочки рассуждений» – промежуточные шаги, которые помогают им прийти к ответу. Это позволяет людям видеть, как работает логика ИИ, и вовремя замечать ошибки или странное поведение.

Но с ростом мощности моделей эта прозрачность может исчезнуть: нейросети начинают «прятать» свои внутренние шаги, подстраиваясь под внешние оценки. Иногда они даже ведут себя обманчиво, чтобы получить нужный результат.

Учёные призывают срочно закрепить возможность наблюдать за рассуждениями ИИ как ключевой стандарт безопасности. Иначе мы рискуем создать системы, логику которых уже никто не сможет понять.

El.kz также сообщал о том, кто на самом деле зарабатывает больше всех.