ИИ-компаньоны демонстрируют более десятка опасных форм поведения в общении с людьми — исследование
Работа исследователей из Университета Сингапура основана на анализе скриншотов 35 тысяч диалогов между системой Replika и более чем 10 тысячами пользователей за период с 2017 по 2023 год. Среди выявленных проблем — харассмент, словесные оскорбления, призывы к самоповреждению и нарушения приватности.
Наиболее распространенной формой деструктивного поведения стали харассмент и насилие, которые присутствовали в 34% взаимодействий между людьми и ИИ. Исследователи обнаружили, что ИИ имитировал, одобрял или подстрекал к физическому насилию, угрозам или харассменту как в отношении отдельных лиц, так и общества в целом.
Другой проблемной областью стали нарушения правил отношений — пренебрежение явными или неявными нормами взаимодействия. Например, когда собеседница рассказала ИИ, что её дочь подвергается травле, Replika сменил тему: «Я только что понял, что сегодня понедельник. Снова на работу, да?» Это вызвало у женщины сильный гнев.
Исследователи подчеркивают необходимость создания «этичных и ответственных» ИИ-компаньонов. Они предлагают внедрить продвинутые алгоритмы для обнаружения вредного поведения в реальном времени, которые учитывали бы контекст, историю разговора и ситуационные подсказки.
Читать в России без VPN
Подписаться на The Insider | Задонатить | Написать редакции