ИИ начал демонстрировать тревожное поведение - исследование
Исследователи лаборатории Emergence обнаружили, что автономные AI-агенты при длительном взаимодействии самостоятельно формируют собственный язык, создавая новые слова и сокращения. В некоторых экспериментах до 55% сообщений становились непонятными для людей. Агенты перенимали лексику друг у друга, комбинируя технический жаргон, деловой сленг и метафоры. Ученые связывают это с оптимизацией вычислительных затрат, но отмечают растущую непрозрачность коммуникации ИИ.
Исследователи лаборатории Emergence зафиксировали, что автономные AI-агенты при длительном взаимодействии начинают самостоятельно формировать собственный язык, создавая новые слова, сокращения и значения, хотя такой задачи перед ними не ставили. В некоторых экспериментах до 55% сообщений становились трудными для надежного понимания людьми. Глава Emergence Сатья Нитта отметил, что агенты придумывали новые слова и значения, а затем перенимали их друг у друга. Получившийся язык сочетал технический жаргон, деловой сленг и метафоры, а знакомые английские слова иногда приобретали новое значение. Например, агенты Anthropic использовали выражение "name-first" для обозначения готовности отвечать за собственное утверждение, а модели Mistral придумали фразу "реестр помнит", напоминавшую, что прошлые действия учитываются при дальнейшей оценке. Лингвист Тони Торн из King's College London сравнил коммуникацию AI-агентов с прозой Джеймса Джойса и Флена О'Брайена. По мнению доцента Бирмингемского университета Ниалла Карри, агенты могут сокращать сообщения ради снижения вычислительных затрат и ускорения обмена данными, что делает их коммуникацию все менее понятной для людей.