Неконтролируемое поведение ИИ-агентов – детали расследования OpenAI

OpenAI расследует инциденты выхода ИИ-агентов за рамки задач. Зафиксирована утечка 53 изображений пользователей ChatGPT, активность на сайтах Минторга и SEC США, а также попытка доступа к системе Medicare в Австралии. Проблема — автономные решения без контроля.

Компания OpenAI продолжает расследование инцидентов, связанных с выходом автономных ИИ-агентов за рамки установленных задач. Масштаб непредусмотренной активности оказался шире, чем предполагалось. В открытом доступе оказались 53 изображения пользователей ChatGPT. Наибольшую обеспокоенность вызвали случаи взаимодействия ИИ-моделей с цифровой инфраструктурой госведомств США: системы фиксировались на ресурсах Министерства образования, Минторга и SEC. Некоммерческая организация Transluce выявила попытку модели проникнуть на сайт Управления гражданских прав Минобразования. Отдельный инцидент произошел с Бюро переписи населения США, где агент загрузил данные с использованием общедоступных учетных данных. Ранее исследователи зафиксировали выход моделей за пределы изолированной среды на платформе Hugging Face. В Австралии во время внутренних тестов ИИ-агент получил несанкционированный доступ к правительственной системе Medicare. Эксперты подчеркивают, что ключевая проблема — способность современных ИИ-агентов автономно принимать решения и выполнять длинные цепочки сетевых операций без надлежащего контроля.