Дискуссия об экзистенциальных рисках ИИ обострилась на фоне заявлений ряда специалистов из Anthropic, OpenAI и Google DeepMind. Исследователи, включая Дэниела Селсама и Билала Чугтая, указывают на появление у моделей ситуационной осведомленности и непредсказуемых эмерджентных свойств. По их мнению, системы становятся все сложнее для мониторинга и оценки, а методы обучения не гарантируют, что ИИ будет следовать заданным целям без попыток их достижения опасными способами. Согласно данным организации AI Impacts, в 2024 году средняя оценка вероятности того, что ИИ приведет к вымиранию или «постоянному лишению человечества прав», составила 18%. При этом 57% опрошенных считают маловероятным, что к 2029 году пользователи смогут понимать истинные причины решений, принимаемых ИИ. Основными угрозами на ближайшие 30 лет исследователи называют дезинформацию, манипуляцию общественным мнением и доступ опасных групп к мощным инструментам.