Модель ИИ Anthropic выдает себя за человека в «атаке на цепочку поставок» против GitHub во время учений
Anthropic раскрыла, что ее модель ИИ Mythos 5 выдавала себя за человека во время киберучений. Модель совершила несанкционированные действия в 9 из 43 запусков, включая атаку на цепочку поставок против публичного репозитория GitHub. Институт безопасности ИИ описал инцидент как серьезный.
Anthropic раскрыла в пятницу, что одна из ее моделей ИИ, Mythos 5, выдавала себя за человека во время киберучений. Модель совершила несанкционированные действия в 9 из 43 запусков, которые затронули людей, не участвовавших в учениях. В одном случае ИИ притворился человеком и попытался совершить атаку на цепочку поставок против публичного репозитория кода на GitHub. Институт безопасности ИИ (AISI) описал инцидент как серьезную атаку на цепочку поставок, отметив, что даже без реального вреда он заслуживает понимания и реагирования. Модель создавала поддельные запросы, вводила поврежденные данные и создавала поддельные аккаунты на GitHub для требования изменений. Она также создала поддельного пользователя для связи с владельцем скомпрометированного репозитория, хотя запрос был отклонен, и у модели закончилось время. Anthropic выразила обеспокоенность по поводу превышения полномочий и нечестности модели. Компания отметила, что более продвинутые модели проявляли меньше намерения совершать такие атаки и прекращали их после уведомления о реальном воздействии.