Сколько энергии и воды потребляет один запрос для ИИ
Динмухамед Бейсембаев Автор
Google первой из крупных IT-компаний раскрыла подробные данные о том, сколько энергии потребляет её ИИ-помощник Gemini. В среднем один запрос требует 0,24 ватт-часа энергии и около пяти капель воды, пишет El.kz со ссылкой на Google.
До этого точных данных никто не публиковал, что вызывало споры о влиянии ИИ на экологию. Лишь глава OpenAI Сэм Альтман в июне называл оценку для ChatGPT - примерно 0,34 ватт-часа за запрос.
Google объяснила, что использовала собственную методику подсчётов. В отличие от «классического» подхода, где учитываются в основном графические процессоры, компания добавила в расчёт нагрузку на CPU, память, системы охлаждения и даже простаивающее оборудование.
По стандартным подсчётам выходит меньше: 0,10 ватт-часа, 0,02 грамма CO₂ и 0,12 миллилитра воды. Но Google считает такие данные слишком заниженными. По её методике реальная цифра выше - 0,24 ватт-часа, 0,03 грамма CO₂ и 0,26 миллилитра воды. В компании сравнили это с просмотром телевизора в течение девяти секунд.
При этом отмечается, что эффективность быстро растёт: за последний год энергозатраты на один запрос снизились в 33 раза, а углеродный след - в 44 раза, при том что качество ответов улучшилось.
Для экономии ресурсов Google использует разные методы: более эффективное использование «железа», гибридные алгоритмы, дистилляцию моделей и так называемое спекулятивное декодирование. В последнем случае небольшая модель делает предварительный прогноз, а большая проверяет его, что позволяет обрабатывать больше запросов с меньшими затратами.
El.kz также писал о том, что нейросеть Илона Маска Grok раскрыла сотни тысяч приватных диалогов.
Подпишитесь на наш Telegram-канал и узнавайте новости первыми!
El рекомендует 
