Исследование: помощь ИИ мешает программистам обучаться лучше

Разработчики, которые изучают новые инструменты программирования с помощью ИИ, в итоге хуже понимают материал, пишет ИА El.kz со ссылкой на The Decoder.

К такому выводу пришли исследователи компании Anthropic, проанализировав влияние ИИ-ассистентов на процесс обучения программистов.

В эксперименте участвовали 52 разработчика, в основном начинающих. Все они не менее года работали с Python и уже пользовались ИИ-помощниками, но ранее не сталкивались с библиотекой Trio. Участников случайным образом разделили на две группы. Одна группа получила доступ к ИИ-ассистенту на базе GPT-4o, вторая могла пользоваться только официальной документацией и поиском в интернете. Обе группы выполняли два практических задания с использованием Trio, стараясь справиться как можно быстрее.

После этого всех участников протестировали на знание ключевых концепций, применявшихся в заданиях. Результат оказался показательным: разработчики, которые работали с ИИ, в среднем набрали на 17% меньше баллов, чем участники без ИИ-поддержки. При этом существенной экономии времени у группы с ИИ также не зафиксировали.

Авторы исследования отмечают, что активное внедрение ИИ в рабочие процессы, особенно в разработке ПО, связано с определёнными издержками. Главная из них – поверхностное понимание материала при обучении чему-то новому.

В то же время были и более успешные стратегии. Лучше всего себя проявили разработчики, которые использовали ИИ как вспомогательный инструмент: сначала получали пример кода, а затем задавали уточняющие вопросы, просили объяснить отдельные фрагменты или применяли ассистента только для теоретических разъяснений. В этих случаях уровень понимания оставался высоким.

Также El.kz сообщал о том, что ИИ впервые спланировал маршрут для марсохода.