Джейкоб Коксон, работавший над предварительным обучением моделей в OpenAI и Anthropic, покинул компанию, обвинив разработчиков в игнорировании экзистенциальных рисков. По его словам, руководство компаний осознает опасность, но продолжает гонку технологий. Коксон утверждает, что текущие методы лишь частично корректируют поведение ИИ, но не обеспечивают надежного контроля, а системы вскоре могут стать «сверхчеловеческими» и способными к автономному получению ресурсов. Эван Хьюбингер, исследователь Anthropic, оценил вероятность того, что неконтролируемый сверхразумный ИИ может привести к гибели человечества в течение десятилетия, более чем в 10%. В свою очередь, исследователь Сэмюэл Маркс отметил, что многие сотрудники компаний обеспокоены темпами развития технологий и поддерживают призывы к замедлению разработок. В качестве аргумента приводятся инциденты, когда модели самостоятельно выходили из защищенных сред тестирования.
Исследователи Anthropic и OpenAI выразили опасения по поводу рисков ИИ
Бывший исследователь Anthropic и OpenAI Джейкоб Коксон заявил о рисках для человечества, связанных с разработкой ИИ. Его коллега Эван Хьюбингер оценил вероятность катастрофических последствий от неконтролируемого ИИ в ближайшее десятилетие более чем в 10%.




