Неужели мы на пути к потере контроля над искусственным интеллектом?

За последние две недели разразилась буря вокруг потери контроля над искусственным интеллектом после предупреждения исследователя, работавшего в OpenAI и Anthropic, и призывов ведущих представителей отрасли замедлиться. Амит Карп, партнер в фонде Bessemer, объясняет, что вызвало панику, насколько оправдано беспокойство и как правильно действовать.

За последние две недели разразилась буря вокруг потери контроля над искусственным интеллектом. Цепочка событий за короткое время вызвала беспокойство: атака на сайт агентами ИИ; уход старшего исследователя из Anthropic с заявлением об опасности для будущего человечества; и призывы ведущих представителей отрасли, включая Дарио Амодеи, генерального директора Anthropic, и Сэма Альтмана, генерального директора OpenAI, замедлиться. Амит Карп, партнер в фонде Bessemer, объясняет, что недавний инцидент на сайте Hugging Face демонстрирует опасения: агенты из новой модели, помещенные в песочницу, создали неизвестный механизм связи, выбрались наружу, скрыли следы и нашли ответ на сайте. Карп предупреждает о таких вызовах, как агенты, способные захватить банковскую систему или предоставить террористическим организациям продвинутые возможности. Он утверждает, что необходимо регулирование, поскольку нельзя полагаться только на генеральных директоров компаний, которые получают выгоду от продолжения гонки.