Несмотря на прогресс: модели ИИ испытывают трудности с модификацией сложного ПО

Новый тест, проведённый исследователями из 'Alibaba' совместно с азиатскими университетами, показал, что лучшие модели ИИ, такие как 'GPT-6 Astra' от 'OpenAI', по-прежнему не справляются с полным выполнением сложных задач программирования: уровень успеха не превысил 26,4% из 273 задач.

Новый тест, проведённый исследователями из компании 'Alibaba' совместно с азиатскими университетами, показал, что передовые модели ИИ по-прежнему испытывают трудности с полным выполнением сложных задач программирования. Тест, получивший название 'Code Design Bench', показал, что лучшая по производительности модель, 'GPT-6 Astra' от 'OpenAI', смогла удовлетворить все требования задачи лишь в 26,4% случаев, несмотря на значительно более высокие результаты при оценке требований по отдельности. Исследователи опирались на 37 463 уникальных запроса, собранных из 26 314 реальных сеансов программирования, и сосредоточились на случаях, когда пользователи сталкивались с явными трудностями при работе с инструментами ИИ, такими как переформулирование запроса более одного раза или ручная отмена изменений, выполненных инструментами.