Современные модели ИИ достигли высокого уровня в решении стандартных тестов, что затрудняет их дальнейшую оценку из-за насыщения метрик. Авторы новой работы отмечают, что существующие наборы данных часто содержат ошибки, имеют перекосы в тематиках и полагаются на формат множественного выбора, который не отражает реальные научные задачи. В ответ на это был представлен набор Expert-validated STEM QA, включающий 398 верифицированных вопросов, подготовленных профессиональным сообществом из 241 эксперта. В ходе тестирования выяснилось, что текущие передовые модели показывают низкую эффективность на этом наборе, демонстрируя точность менее 25%. Это делает датасет сложным инструментом для проверки реальных способностей ИИ к научным рассуждениям. Кроме того, авторы показали, что дообучение моделей на закрытой версии набора из 2000 примеров позволяет повысить их показатели на 15% в профильных задачах. Часть данных уже открыта для исследовательского сообщества, что может помочь в создании более точных и надежных моделей для научной деятельности.