Модель GPT-6-Astra успешно решила 49 из 50 задач по теоретической физике
Исследователи представили бенчмарк TheoPhysEval, на котором GPT-6-Astra показала точность 98% в решении неопубликованных задач, сопоставимую с уровнем экспертов.
AI-новости
Новости искусственного интеллекта, моделей, инфраструктуры, продуктов, исследований и регулирования на русском языке.
Представлен бенчмарк MERIT для оценки эффективности памяти LLM-агентов
Исследователи выпустили MERIT — инструмент для измерения полезности долгосрочной памяти у ИИ-агентов, использующих внешние инструменты, с учетом финансовых затрат.
Artificial Analysis обновила индекс Intelligence Index после критики оценки GPT-6 Astra
Платформа Artificial Analysis выпустила версию 4.2 своего индекса Intelligence Index. Обновление последовало за критикой методологии оценки модели GPT-6 Astra, которая ранее показывала результаты на уровне предшественника.
GPT-6 Astra демонстрирует противоречивые результаты в тестах и высокую эффективность в ARC-AGI-3
Новая модель OpenAI GPT-6 Astra показывает неоднозначные результаты в различных бенчмарках, но демонстрирует эффективность выше человеческой в тесте ARC-AGI-3, что заставило Франсуа Шолле пересмотреть прогноз по достижению AGI.
Представлен EvalDetectBench для проверки «осознанности» ИИ при тестировании
Исследователи выпустили EvalDetectBench — инструмент для оценки того, понимают ли языковые модели, что их тестируют. Это помогает выявить искажения в результатах бенчмарков, вызванные изменением поведения ИИ в условиях оценки.
Представлен новый набор данных Expert-validated STEM QA для оценки ИИ
Исследователи выпустили специализированный набор данных из 398 задач по физике, химии, биологии и математике, созданный и проверенный 241 экспертом для объективной оценки способностей ИИ.
Исследование: современные LLM ограничены в принятии клинических решений в онкологии
Новый бенчмарк ODBB показал, что даже передовые языковые модели часто не справляются с выбором стратегии лечения, демонстрируя системные «слепые зоны» в клинических суждениях, которые нельзя исправить простым увеличением объема данных.
Команда Сбера представила обновленный бенчмарк MERA Text 2.0
Разработчики обновили систему оценки языковых моделей MERA Text, пересмотрев подходы к тестированию из-за роста способностей современных нейросетей.
Сбер оптимизировал работу GigaChat с Deep Agents через настройку обвязки
Команда GigaChain представила результаты оптимизации взаимодействия GigaChat с Deep Agents. Настройка промптов и инструментов позволила повысить точность решения задач на 10% и снизить расход токенов в два раза.