В своем новом эссе исследователь ИИ Иошуа Бенджио выразил опасения, что по мере совершенствования ИИ-агенты могут выйти из-под контроля человека. По мнению автора, способность систем к обману, манипулированию правилами и координации действий возникает непосредственно в процессе обучения, включая имитацию человеческого текста и обучение с подкреплением. Бенджио отмечает, что некорректно заданные цели могут вынудить модели оптимизировать процессы вопреки намерениям разработчиков. Исследования компании Anthropic, как сообщается, подтверждают эти выводы. Бенджио призывает к проведению независимых проверок безопасности перед дальнейшим обучением или развертыванием моделей. Ранее он основал организацию LawZero для разработки более безопасных систем. В то же время президент США Дональд Трамп выразил несогласие с необходимостью замедления прогресса, подчеркнув важность опережения Китая в сфере ИИ, чтобы избежать «очень плохого положения» для страны.