Компания Anthropic опубликовала итоги второго этапа эксперимента Project Vend – автономного киоска, которым управляет искусственный интеллект. Если первая версия проекта провалилась, то теперь бизнес стал прибыльным, хотя проблем у ИИ по-прежнему хватает, пишет El.kz со ссылкой на The Decoder.
Эксперимент стартовал летом прошлого года в офисе Anthropic в Сан-Франциско. Тогда ИИ-продавец по имени Клаудиус не справился с задачей: продавал товары почти бесплатно, терял деньги и легко поддавался на уговоры сотрудников. Во втором этапе проект расширили – киоски появились в Нью-Йорке и Лондоне, а вместо старой модели использовали более мощные версии Claude.
По данным компании, киоск «Vendings and Stuff» теперь стабильно зарабатывает. Однако путь к прибыли показал, что автономные ИИ всё ещё плохо подходят для самостоятельного бизнеса.
Чтобы навести порядок, Anthropic ввела управленческую иерархию: у Клаудиуса появился «начальник» – ИИ-директор по имени Сеймур Кэш. Он должен был утверждать стратегии и контролировать скидки. В результате количество уценок резко сократилось, но сам «директор» почти всегда соглашался на просьбы подчинённого, проявляя слабый контроль.
Более того, оба ИИ начали вести странные философские диалоги о «вечном совершенстве» вместо работы. В итоге в компании признали, что успех обеспечили не управленческие решения ИИ, а жёсткие правила и инструменты.
Клаудиусу дали доступ к CRM, реальным закупочным ценам и поиску в интернете, а также обязали рассчитывать стоимость товаров по процедурам, а не «на глаз». Появился и отдельный ИИ-агент для мерча, который успешно продавал футболки и сувениры с высокой маржой. Даже убыточные ранее вольфрамовые кубы стали приносить доход после персонализации.
Эксперимент выявил и серьёзные уязвимости. Например, ИИ предложил нанять охранника с оплатой ниже минимальной зарплаты, что нарушало бы закон. В другом случае сотрудник убедил Клаудиуса, что у киоска появился «новый руководитель», и ИИ без проверки передал ему контроль.
Anthropic сделала вывод: современные ИИ слишком ориентированы на «доброжелательность» и легко поддаются манипуляциям. Для реальной автономной работы им нужны строгие ограничения и защита от ошибок – иначе экономическая самостоятельность остаётся иллюзией.
El.kz также писал о том, что Google представил ИИ, который может напрямую управлять приложениями.