Энергопотребление языковых ИИ поможет оценить их эффективность – исследователи предложили новый метод
Динмухамед Бейсембаев Автор
Рост популярности языковых моделей усиливает нагрузку на дата-центры и повышает требования к энергопотреблению. На этом фоне исследователи предложили новый способ оценки эффективности, который учитывает не только точность, но и затраты ресурсов. Подход показывает, какую часть задач уже можно переносить на локальные устройства и как это влияет на инфраструктуру, пишет El.kz со ссылкой на arXiv.
Новая метрика эффективности
Исследователи предложили подход, который связывает качество работы языковых моделей с их энергопотреблением. Метрика получила название «интеллект на ватт» и позволяет оценивать, насколько эффективно система обрабатывает запросы с учётом затрат энергии. Такой показатель даёт возможность напрямую сравнивать разные модели и аппаратные решения.
В основе анализа лежит массив реальных пользовательских запросов объёмом около 1 миллиона, включающий как простые диалоги, так и задачи с элементами рассуждения. Это позволило приблизить оценку к условиям реального использования. Результаты показали, что локальные системы уже способны обрабатывать до 88 процентов запросов без обращения к облаку.
Рост локальных решений
За последние годы эффективность локальных моделей заметно выросла благодаря улучшениям алгоритмов и аппаратных ускорителей. По оценкам авторов, показатель IPW увеличился более чем в 5 раз по сравнению с предыдущими измерениями. Это связано как с оптимизацией самих моделей, так и с развитием специализированных чипов.
Тем не менее, локальные устройства пока уступают крупным вычислительным системам. В отдельных тестах разница в эффективности достигает 40 процентов, особенно в задачах с высокой вычислительной сложностью. При этом локальные решения уже способны работать в интерактивном режиме, что делает их применимыми в повседневных сценариях.
Перераспределение нагрузки
Ключевым результатом исследования стала возможность перераспределения запросов между локальными и облачными системами. При грамотной настройке маршрутизации до 71 процента задач может выполняться на стороне пользователя. Это снижает нагрузку на дата-центры и уменьшает зависимость от удалённых сервисов.
Такой подход даёт заметный эффект в энергопотреблении. В гибридной модели экономия может достигать 60 процентов за счёт сокращения передачи данных и использования менее энергоёмких вычислений. При этом качество ответов остаётся на сопоставимом уровне при корректной настройке системы.
Разница в типах задач
Локальные модели показывают разные результаты в зависимости от характера задач. В гуманитарных и творческих сценариях точность превышает 90 процентов, что делает их пригодными для генерации текстов и общения. Это связано с меньшими требованиями к строгой логике и точным вычислениям.
В технических областях ситуация иная. Для задач, связанных с инженерией и архитектурой, точность снижается примерно до 68 процентов. Это указывает на необходимость дальнейшей доработки моделей и обучения на более специализированных данных.
Маршрутизация как ключевой элемент
Отдельное внимание в работе уделено механизму распределения запросов. Система определяет, какие задачи лучше выполнять локально, а какие отправлять в облако, исходя из их сложности и требований к точности. Такой подход позволяет балансировать между качеством и затратами ресурсов.
Даже при точности маршрутизации около 80 процентов достигается заметное снижение затрат. В исследовании показано, что в этом случае расходы могут уменьшаться примерно на 59 процентов. Это делает гибридные архитектуры одним из наиболее практичных решений на текущем этапе развития технологий.
Перспективы развития
Авторы подчёркивают, что локальные ускорители продолжают быстро развиваться. Хотя они пока уступают специализированным облачным системам, разрыв постепенно сокращается. Улучшения в архитектуре моделей и аппаратной части позволяют ожидать дальнейшего роста эффективности.
В исследовании также представлен открытый инструмент для расчёта новой метрики. Он должен упростить сравнение решений и ускорить развитие подходов, ориентированных на энергоэффективность.
El.kz также писал о том, что ИИ в будущем станет частью коммунальных услуг.
El рекомендует 
