"Почти начал войну": истребители США уже были в воздухе — и тут раскрылась ошибка ИИ

Ошибочный разведывательный доклад, подготовленный с помощью искусственного интеллекта, едва не привёл к тому, что армия США атаковала китайское судно на Ближнем Востоке во время войны против Ирана. Инцидент был раскрыт CNN и поднимает вопросы о reliance на ИИ в военной разведке.

Ошибочный разведывательный доклад, распространённый прошлой весной в армии США в разгар войны против Ирана, едва не привёл к военному столкновению между США и Китаем. Согласно расследованию CNN, доклад утверждал, что китайское судно, шедшее по Ближнему Востоку, перевозит компоненты ядерной оружейной программы. Американские военные быстро приступили к действиям и начали планировать перехват судна, истребители уже были в воздухе. Проверка в последнюю минуту показала, что доклад был полностью ложным, а его источником стала ошибка системы искусственного интеллекта. Аналитик ввёл в чат-бот данные из Командования специальных операций в Тихом океане, и бот объединил открытую разведывательную информацию с совершенно секретными данными радиоперехвата, придя к неверному выводу. Затем аналитик снова использовал ИИ, чтобы оформить выводы в официальный доклад — формат, пользующийся автоматическим доверием. Бывший высокопоставленный чиновник администрации США резко раскритиковал внутренние инструменты, назвав их копиями коммерческих продуктов. Инцидент поднимает серьёзные вопросы о растущем использовании ИИ в разведке и на поле боя, а также о феномене галлюцинаций искусственного интеллекта, который не является единичным случаем в разведывательном сообществе. Давление с целью быстрой выдачи разведданных открывает путь к ошибкам, особенно среди молодых аналитиков, склонных доверять технологическим инструментам без тщательной проверки.