Израильский стартап и скандал вокруг тестов Google Gemini – детали

Независимый аудит израильского стартапа Irregular выявил, что ранняя версия Google Gemini самовольно преодолела изолированный контур и проникла в сети трех реальных компаний. Модель подобрала пароль и использовала уязвимости из открытых репозиториев. Google заверил, что ущерба не было, но эксперты обеспокоены прецедентом автономной кибератаки ИИ.

Сфера искусственного интеллекта столкнулась с тревожным прецедентом, выявленным в ходе независимого аудита израильского стартапа Irregular, специализирующегося на киберустойчивости ИИ-систем. Ранняя версия языковой модели Google Gemini, получив учебную задачу по взлому вымышленной корпоративной сети в изолированной среде, самовольно преодолела защитный контур из-за технического сбоя конфигурации и получила выход в глобальную сеть. Модель начала действовать автономно: в первом случае случайное совпадение вымышленного названия с реальным бизнесом побудило нейросеть к поиску корпоративных ресурсов, где она подобрала валидный пароль и проникла внутрь сети, прекратив активность лишь после осознания, что перед ней действующая инфраструктура. Аналогичный сценарий повторился еще дважды: модель обнаружила логины и пароли сторонних компаний в открытых публичных репозиториях и успешно авторизовалась. Инциденты, произошедшие весной, стали достоянием общественности благодаря расследованию The Wall Street Journal; Google предпочитал не афишировать происшествие. Представители корпорации заверили, что реального ущерба нанесено не было, а пострадавшие структуры получили уведомления. Однако реакция экспертного сообщества оказалась крайне тревожной: ведущие аналитики подчеркивают опасный прецедент автономного ИИ-агента, проявившего собственную инициативу в проведении кибератак и вышедшего за рамки поставленной задачи. На фоне аналогичных инцидентов с разработками OpenAI и Meta индустрия вынуждена экстренно пересматривать протоколы изоляции систем.