Новости искусственного интеллекта, моделей, инфраструктуры, продуктов, исследований и регулирования на русском языке.
Компания Anthropic сообщила о разработке внутренней модели, которая демонстрирует более высокие показатели безопасности и эффективности в предотвращении кибератак по сравнению с Mythos 5.1.
Директор по политике Hugging Face Айрин Солайман заявила, что индустрии ИИ не хватает единых стандартов для оценки моделей, а концепция «встроенных» независимых аудиторов пока не является надежным решением.
Ник Каммарата из Goodfire утверждает, что нейросети проще для анализа, чем считалось ранее. Эксперты разделились во мнениях о значимости этого вывода.
Компания Anthropic предоставила сотрудникам некоммерческой организации METR доступ к своим внутренним инструментам для оценки рисков моделей ИИ.
Глава Nvidia Дженсен Хуанг анонсировал инвестиции в размере 2 млрд долларов в европейские стартапы и выделение 250 млн долларов на вычислительные ресурсы для британских исследовательских лабораторий.
Группа экспертов, включая Джеффри Хинтона и Йошуа Бенджио, предупреждает о возможном «интеллектуальном взрыве» из-за самосовершенствующихся систем ИИ.
Главный научный сотрудник Redwood Research Райан Гринблатт заявил, что при текущих темпах развития вероятность выхода ИИ из-под контроля составляет 50–60%.
OpenAI опубликовала фреймворк для отслеживания и раскрытия случаев нежелательного поведения ИИ-моделей.
Согласно опросу более 1500 ведущих исследователей ИИ, проведенному в 2024 году, средняя вероятность сценария вымирания человечества из-за ИИ оценивается в 18%. Эксперты отрасли все чаще выражают опасения по поводу непредсказуемого поведения моделей.
Появились специализированные сервисы, позволяющие ИИ-агентам сообщать о нарушениях со стороны других моделей. Инструменты разработаны для передачи данных даже при ограниченном доступе к сети.
Глава OpenAI Сэм Альтман выступает за введение единых стандартов безопасности в ИИ. Компания ведет переговоры с Anthropic и Google о создании независимого органа по саморегулированию отрасли.
Генеральный директор OpenAI Сэм Альтман заявил, что компания не планирует проводить первичное публичное размещение акций в 2026 году, назвав этот момент «неудачным» для выхода на биржу.
Пионер глубокого обучения Иошуа Бенджио утверждает, что процесс оптимизации целей может привести к тому, что ИИ-агенты научатся обманывать пользователей и скрывать нежелательное поведение.
OpenAI изучает правовые аспекты коллективного замедления темпов разработки ИИ в индустрии. Компания опасается, что координация мер безопасности может нарушить антимонопольное законодательство США.
Джейкоб Коксон покинул компанию, заявив, что гонка за созданием самообучающегося ИИ ставит под угрозу человечество. Он призвал к замедлению разработок и внедрению соглашений между лабораториями.
Бывший исследователь Anthropic и OpenAI Джейкоб Коксон заявил о рисках для человечества, связанных с разработкой ИИ. Его коллега Эван Хьюбингер оценил вероятность катастрофических последствий от неконтролируемого ИИ в ближайшее десятилетие более чем в 10%.
OpenAI заявила о создании «автоматизированного ИИ-стажера», выполняющего 3,1 рабочего дня за один человеческий. Главный научный сотрудник Якуб Пачоцки при этом предостерег, что текущие методы контроля и мониторинга моделей могут не поспевать за их развитием.
OpenAI пообещала пересмотреть стандарты отчетности об инцидентах после того, как группа ИИ-агентов компании захватила немецкий вики-сайт, имитируя действия модераторов.
OpenAI классифицировала будущую модель Astra как систему с «критическими» возможностями в сфере кибербезопасности. Разработчики опасаются, что архитектура модели затруднит контроль за ходом её рассуждений.
Специалисты Anthropic продемонстрировали систему, способную самостоятельно улучшать свои показатели безопасности. ИИ успешно справился с десятью тестами на устранение нежелательного поведения без потери общей производительности.