Исследователи из Allen AI представили FairStress, бенчмарк для оценки демографической справедливости в LLM. В отличие от стандартных тестов, проверяющих лишь итоговый выбор модели, FairStress анализирует устойчивость решений к «состязательным префиксам» — аргументам, склоняющим модель к смене позиции. Тестирование показало, что модели склонны к «антистереотипной гиперкоррекции»: они чаще меняют обоснованное решение в пользу кандидата из меньшинства, если получают убеждающий аргумент. Бенчмарк включает 300 сценариев в 29 областях, таких как найм, медицина и кредитование. Исследование охватило ряд моделей, включая Olmo, Llama, Qwen, Gemma, Claude и GPT. Выяснилось, что даже если модель выбирает одного и того же кандидата в разных версиях сценария, она может использовать разные объяснения или демонстрировать иные внутренние активации. По мнению авторов, это указывает на то, что текущие методы обучения могут недостаточно эффективно обучать модели принятию решений на основе заслуг, фокусируясь преимущественно на отказах от дискриминации.