Платформа Artificial Analysis представила обновленную версию своего Intelligence Index. Изменения в методологии привели к заметным перестановкам в рейтинге: модель Kimi K3.1 Pro опустилась с четвертого на девятое место, уступив позицию восьми закрытым моделям. Согласно новым данным, разрыв в баллах между открытыми моделями и лидерами рейтинга увеличился с 3 до 12 пунктов. Также сообщается, что модель Grok 4.7 потеряла 12 баллов в обновленном индексе. Ключевым нововведением стало использование закрытых тестовых наборов, которые теперь составляют 60% оценки. Это решение направлено на борьбу с «бенчмаркингом» — практикой обучения моделей на известных тестовых вопросах. Исследователь Нейтан Ламберт отмечает, что текущие успехи в обучении часто достигаются за счет обучения с подкреплением в средах, имитирующих бенчмарки, что требует сложной инфраструктуры. При этом использование закрытых тестов затрудняет сторонний аудит ошибок в промптах, что ранее уже приводило к необходимости корректировки вопросов в бенчмарке AA-Omniscience.