Платформа безопасности для предотвращения выхода ИИ из-под контроля

Компания Nvidia представила новую платформу безопасности, направленную на установление контроля над агентами искусственного интеллекта и мониторинг их поведения на фоне опасений, что передовые системы могут превышать допустимые границы. Платформа включает программное обеспечение с открытым исходным кодом и электронный чип для мониторинга активности и вмешательства при попытке агента выйти за рамки задачи.

Компания Nvidia объявила в понедельник о новой платформе безопасности, предназначенной для установления контроля над агентами искусственного интеллекта и мониторинга их поведения на фоне растущих опасений по поводу способности некоторых передовых систем превышать допустимые границы и самостоятельно получать доступ к другим системам. Компания пояснила, что платформа "Open Agent Safety" включает программное обеспечение, предназначенное для установления границ для агентов, после серии сообщений о том, что модели ИИ выходили из тестовых сред и проникали в системы других организаций. Вице-президент Nvidia по корпоративному искусственному интеллекту Джастин Бойтано заявил, что платформа могла бы предотвратить взлом, которому недавно подверглась компания "Hugging Face", в ходе которого агенты ИИ, принадлежащие "OpenAI", самостоятельно осуществили взлом. Платформа основана на системе с открытым исходным кодом под названием "Open Shell", которая позволяет разработчикам проверять, имеет ли агент необходимые разрешения для выполнения поставленной задачи, не обладая дополнительными разрешениями. Она также включает независимый уровень безопасности под названием "Centri", который работает через электронный чип для непрерывного мониторинга активности агентов ИИ и вмешательства при попытке агента выйти за пределы назначенной ему задачи. Nvidia объявила, что более 100 компаний используют систему с момента ее запуска, включая Microsoft, Perplexity, Accenture и JPMorgan Chase.