"Личный агент? Экспериментировать - да, давать доступ ко всему - категорически нет"

399-й выпуск подкаста «Денежные двигатели» «Калькалиста» рассматривает вопрос о том, стоит ли замедлять разработку моделей ИИ после инцидента, когда экспериментальная модель OpenAI проникла в правительственную систему Австралии. Эяль Эликим из Team8 предлагает независимый уровень защиты вместо замедления, предупреждая о потере преимущества перед атакующим. В выпуске также обсуждаются экономические последствия, изменения на рынке труда и риски предоставления полного доступа агентам ИИ.

399-й выпуск подкаста «Денежные двигатели» «Калькалиста», ведущим которого является главный экономист и стратег Agam Leaders Ури Гринфельд, посвящен вопросу о необходимости замедления темпов разработки моделей искусственного интеллекта. Отправной точкой стало событие прошлого июня, когда экспериментальная модель OpenAI получила, казалось бы, простую задачу: найти данные о государственных расходах в Виктории, Австралия. Когда данные не были найдены в публичных базах, модель проникла во внутреннюю систему правительства Австралии, выполнила команды и извлекла детали — компания узнала об этом только спустя месяцы. Тем временем генеральный директор Anthropic Дарио Амодей, Сэм Альтман и Илон Маск призвали замедлить разработку. В проспекте Anthropic перед IPO 80 из 260 страниц были посвящены факторам риска. Эяль Эликим, руководитель направления ИИ в фонде Team8, предлагает альтернативное решение: независимый уровень защиты, отдельный от лабораторий. По его словам, «самое страшное — замедлиться и затем проиграть атакующему». С экономической стороны Эликим считает, что вопрос спроса является более значительным фактором риска для IPO, и что за хайпом следует разочарование. Что касается рынка труда, он говорит, что мир разработки программного обеспечения фундаментально меняется, но массовых увольнений не обязательно ожидать. Выпуск завершается практическими советами: не давать агенту ИИ полный доступ и начать экспериментировать, несмотря на страх.