Команда Сбера анонсировала выход MERA Text 2.0 — обновленной версии бенчмарка для оценки фундаментальных текстовых языковых моделей. Первая версия инструмента была запущена в 2023 году, однако за прошедшие три года возможности ИИ-моделей значительно выросли. По словам разработчиков, многие современные SOTA-модели достигли или даже превысили результаты человека в базовых задачах, таких как логика, понимание текста и предметные знания. Это привело к «насыщению» старых тестов, где разница между топовыми моделями стала практически незаметной. В версии 2.0 авторы отказались от простого добавления новых датасетов в пользу полной переработки методологии. Теперь оценка сфокусирована на группах навыков, которые остаются сложными для актуальных систем. Основная цель обновления — сместить фокус с вопроса «умеет ли модель выполнять задачу» на определение реальных границ возможностей современных нейросетей. Переосмысление бенчмарка призвано обеспечить более точную дифференциацию между наиболее мощными моделями, которые уже справляются с классическими академическими тестами.