ИИ имитирует детей для тестирования рисков чат-ботов
Отчет о разработке американской компанией 'Circuit Breaker Labs' программных агентов, имитирующих пользователей разного возраста и происхождения для тестирования систем защиты в чат-ботах, с предупреждениями от Всемирной организации здравоохранения и ЮНИСЕФ о психологических рисках для детей и подростков.
Технический отчет, рассматривающий усилия американской компании 'Circuit Breaker Labs' по разработке агентов искусственного интеллекта, имитирующих детей и подростков из разных слоев, языков и культур, с целью тестирования систем защиты в чат-ботах до того, как они попадут к реальным пользователям. Компания полагается на метод 'красной команды' для подвергания моделей сложным и неожиданным сценариям и утверждает, что ее агенты способны проводить более 100 000 симулированных взаимодействий. Это происходит на фоне предупреждений Всемирной организации здравоохранения об использовании генеративного ИИ для эмоциональной поддержки среди молодежи и данных 'Common Sense Media' о том, что 72% подростков в США использовали ИИ-компаньонов. Данные ЮНИСЕФ также указывают на то, что 20 миллионов детей использовали ИИ в 10 странах. Отчет поднимает вопрос о достаточности одной лишь симуляции для защиты детей, указывая на необходимость постоянного тестирования, независимого надзора и дизайна, соответствующего возрасту пользователей.