Мы позволили ИИ управлять компанией – и результаты смущают

Исследование Университета Карнеги-Меллона проверило агентов искусственного интеллекта в управлении виртуальной компанией. Ведущая модель Claude 3.5 Sonnet выполнила лишь 24% задач. Gemini 2.0 Flash достигла 11,4%. Исследование выявило сбои в понимании социального контекста, навигации в интернете и работе с неявными инструкциями.

Новое исследование Университета Карнеги-Меллона проверило способность систем искусственного интеллекта самостоятельно управлять компанией. Исследователи поместили агентов ИИ на различные организационные должности, включая финансового аналитика, руководителя проектов и инженера-программиста, в виртуальной среде. Результаты показали, что ведущая модель Claude 3.5 Sonnet смогла выполнить лишь 24% поставленных задач, или 34,4% с учётом частичных выполнений. Gemini 2.0 Flash заняла второе место с 11,4%, и ни одна другая модель не превысила порог в 10%. Исследование выявило сбои в понимании социального контекста, работе с всплывающими окнами в интернете и склонность к сокращению путей при столкновении с трудностями. Операционные затраты варьировались от $6,34 для Claude по сравнению с $0,79 для Gemini. Вывод: ИИ всё ещё далёк от того, чтобы быть независимым цифровым работником.