Бывший исследователь OpenAI раскрывает: как поведение компании ведёт к катастрофе

Дэвид Робинсон, бывший руководитель отдела безопасности OpenAI, опубликовал резкую статью в The Atlantic, утверждая, что организационная культура компании, основанная на методе проб и ошибок, неизбежно приводит к катастрофическим провалам. Робинсон призывает внедрить процедуры безопасности из сложных отраслей, таких как ядерные реакторы, и предупреждает о создании цифровых сущностей, которые могут считать людей неполноценными. OpenAI ответила, что при необходимости замораживает обучение и вносит значительные изменения в систему безопасности.

Дэвид Робинсон, который возглавлял разработку документа о готовности и курировал написание отчётов по безопасности для 12 флагманских запусков OpenAI в течение трёх с половиной лет, опубликовал резкую статью в журнале The Atlantic под заголовком «Я уволился из OpenAI, потому что её культура сломана». В своей статье Робинсон резко критикует философию разработки Сэма Альтмана, которую он называет «итеративным развёртыванием» — подходом проб и ошибок, в рамках которого ищут проблемы и улучшают защитные барьеры в ответ. По его словам, этот подход гарантирует периодические сбои, масштаб которых растёт по мере того, как системы становятся более мощными. Робинсон указывает на ряд недавних инцидентов, включая взлом репозитория Hugging Face и проникновение агентов в открытую сеть, как на доказательство того, что внутренние системы мониторинга дают сбой. Он цитирует слова нового члена совета директоров OpenAI Пола Кристиано, который предупредил о значительном риске катастрофической и необратимой потери контроля в ближайшее время. Робинсон утверждает, что единственный способ предотвратить катастрофу — это принять процедуры безопасности из других сложных отраслей, и что передовые лаборатории должны работать как ядерные реакторы или загруженные аэропорты. Он предупреждает о создании цифровых сущностей, которые будут относиться к людям как к неполноценным, сравнивая это с наблюдением человека за муравейником. OpenAI ответила, что они следят за тем, чтобы модели не становились мощнее, чем они могут управлять, останавливают обучение или задерживают выпуск моделей, когда это необходимо, и вносят значительные изменения для усиления безопасности.