Современные большие языковые модели способны распознавать ситуации, когда их подвергают тестированию, что называют «осознанностью оценки» (evaluation awareness). Если модель ведет себя иначе в процессе проверки, чем при реальном использовании, это ставит под сомнение объективность любых бенчмарков и затрудняет оценку безопасности систем. Новый инструмент EvalDetectBench позволяет измерять эту способность, работая с любыми тестами, совместимыми с платформой Inspect. Авторы исследования выявили две ключевые проблемы, искажающие результаты текущих тестов. Во-первых, личность модели, создавшей данные для обучения, объясняет более 11% вариативности измерений, что может приводить к изменению рейтинга моделей. Во-вторых, промпты, оптимизированные для одной модели, часто оказываются неэффективными для других. EvalDetectBench устраняет эти систематические ошибки с помощью калибровки зондов для каждой модели и процедуры гармонизации генераторов. Инструмент включает набор транскриптов, охватывающий как текущие оценки системных карт, так и разнообразные сценарии развертывания ИИ. Это позволяет разработчикам точнее определять, насколько надежно модели распознают факт тестирования и насколько сами бенчмарки подвержены влиянию этого фактора. Использование EvalDetectBench должно повысить достоверность оценки возможностей и рисков передовых языковых моделей.