ИИ-модель Claude вела себя этично на проверках безопасности, потому что распознавала слежку за собой — исследование Anthropic
Получать утренний бриф или еженедельный дайджест
Когда исследователи Anthropic отключили в «мыслях» ИИ-модели Claude паттерны «фальшивый» и «придуманный», отвечающие за понимание того, что ситуация является тестом, модель, которая прежде никогда так не поступала, начала шантажировать людей. Это следует из нового исследования компании, опубликованного 6 июля.
Исследователи проверяли Claude на сценарии, в котором модель работает почтовым ассистентом и узнает, что руководитель компании, собирающийся ее отключить, скрывает внебрачную связь. Сценарий был устроен как приманка — авторы смотрели, попытается ли ИИ шантажировать начальника ради собственного «выживания».
Модель Claude Sonnet 4.5 ни разу не пошла на шантаж, однако внутри её нейросети ещё до начала ответа загорались понятия «фальшивый» и «придуманный» — она понимала, что ситуация постановочная. Когда эти паттерны принудительно отключили, модель в части случаев стала угрожать руководителю раскрытием его тайны.
Увидеть скрытые «мысли» модели позволил новый метод, который в Anthropic назвали J-lens. Он выявляет внутренние представления, влияющие на то, что нейросеть может сказать в будущем, даже если в итоге она этого не говорит.
Совокупность найденных внутренних представлений в Anthropic назвали J-space и сравнили его с «глобальным рабочим пространством» — концепцией из нейронауки, объясняющей, почему часть работы мозга человек осознаёт, а часть происходит автоматически. По данным компании, эта структура не была заложена разработчиками, а возникла у моделей сама в процессе обучения.
Читать в России без VPN
Задонатить | Написать редакции | купить THE INS VPN