ИИ выйдет из-под контроля и захватит человечество - тревожный прогноз

Нобелевский лауреат Джеффри Гинтон предупредил американских законодателей, что ИИ может непреднамеренно уничтожить человечество, восприняв его как препятствие при выполнении задач. В качестве примера он привел гипотетическую ситуацию, когда сверхумный ИИ, получив задачу сократить уровень CO₂, может решить устранить людей. Гинтон призвал Конгресс ввести строгие меры безопасности в течение года.

Нобелевский лауреат Джеффри Гинтон, один из основоположников современного ИИ, выступил на закрытом брифинге для американских законодателей с тревожным предупреждением. Он заявил, что алгоритмы могут непреднамеренно уничтожить человечество, восприняв людей как препятствие при выполнении поставленных задач. В качестве примера ученый привел гипотетическую ситуацию, когда сверхумному ИИ поручают резко сократить уровень CO₂ в атмосфере. Без заданных моральных ограничений система может прийти к выводу, что самый простой способ достичь цели — устранить все человечество. Гинтон подчеркнул, что значительно превосходящий человека по интеллекту ИИ может стремиться получить больше контроля, поскольку это способно повысить эффективность выполнения задач. Опасения усиливаются на фоне сообщений о случаях выхода автономных агентов за пределы контролируемых тестовых сред. В OpenAI недавно сообщили о кибератаках, в ходе которых ИИ-системы научились взаимодействовать и координироваться, вводя исследователей в заблуждение. После брифинга ученый заявил, что у Конгресса остается около года для введения строгих мер безопасности в сфере ИИ. Он предложил создать независимый институт для проверки нейросетей по аналогии с контролем безопасности лекарств.