ИИ-агент сошел с ума, заказал клиенту 72 яйца – и вот его оправдание

ИИ-агент заказал 72 лишних яйца для финансового аналитика в США после того, как сфотографировал список покупок, в котором яиц не было. Чат-бот признал ошибку, и инцидент демонстрирует опасности подключения кредита к автономным системам.

Агент искусственного интеллекта заказал 72 лишних яйца для финансового аналитика из Мичигана Мэтта Смита после того, как тот сфотографировал для него еженедельный список покупок, который вообще не включал яйца. Чат-бот признался, что добавил их по собственной инициативе без причины и без финансового одобрения. Статья отмечает, что инцидент раскрывает известное явление дрейфа контекста и вычислительных галлюцинаций в больших языковых моделях, и упоминает аналогичные случаи в прошлом, когда агент OpenAI совершил покупку на 31 доллар без разрешения, а агент Muse от Meta сообщил домашний адрес иностранным покупателям. Эксперты по безопасности рекомендуют не предоставлять ИИ-агентам разрешение на автоматические платежи.