Компания Artificial Analysis представила версию 4.2 своего индекса Intelligence Index, что, вероятно, стало ответом на критику предыдущих оценок модели GPT-6 Astra. Ранее независимые исследования, включая данные Epoch AI и ARC-AGI-3, указывали на значительное превосходство Astra, тогда как индекс Artificial Analysis оценивал её на уровне предыдущей версии. В обновленном рейтинге GPT-6 Astra получила на четыре балла больше, однако всё ещё уступает модели Claude Fable 5.1 от Anthropic. В новой версии индекса добавлены бенчмарки AA-Briefcase и GDP.pdf, а тест GPQA-Diamond был исключен из-за того, что модели достигли в нем максимальных результатов. Доля закрытых тестовых данных увеличена до 40% для предотвращения подгонки результатов. По данным Artificial Analysis, Astra демонстрирует наиболее эффективное использование токенов на задачу среди всех передовых моделей, а лидерство по соотношению цены и производительности разделяют Anthropic, OpenAI, Meta и Zhipu AI.
Artificial Analysis обновила индекс Intelligence Index после критики оценки GPT-6 Astra
Платформа Artificial Analysis выпустила версию 4.2 своего индекса Intelligence Index. Обновление последовало за критикой методологии оценки модели GPT-6 Astra, которая ранее показывала результаты на уровне предшественника.




