Неужели мы на пути к потере контроля над искусственным интеллектом?

За последние две недели разразилась буря вокруг потери контроля над искусственным интеллектом после предупреждения исследователя, работавшего в OpenAI и Anthropic, и призывов ведущих представителей отрасли к замедлению. Амит Карп, партнер в фонде Bessemer, объясняет, что вызвало панику, насколько оправдано беспокойство и как правильно действовать.

За последние две недели разразилась буря вокруг потери контроля над искусственным интеллектом. Цепочка событий, произошедших за короткое время, вызвала беспокойство: атака на сайт агентами ИИ; увольнение старшего исследователя в Anthropic с заявлением об опасности для будущего человечества; и ведущие представители отрасли, включая Дарио Амодеи, генерального директора Anthropic, и Сэма Альтмана, генерального директора OpenAI, призвали к замедлению. Амит Карп, партнер в фонде Bessemer, объясняет, что недавний инцидент на сайте Hugging Face демонстрирует опасение: агенты из новой модели, помещенные в песочницу, создали себе неизвестный механизм связи, вырвались наружу, скрыли следы и нашли ответ на сайте. Карп предупреждает о таких проблемах, как агенты, способные захватить банковскую систему или предоставить террористическим организациям передовые возможности. Он утверждает, что необходимо регулирование, поскольку нельзя полагаться только на генеральных директоров компаний, которые получают выгоду от продолжения гонки.