Исследователи Google DeepMind объявили о запуске пилотного проекта, который адаптирует принципы двойного слепого тестирования из медицины для оценки качества работы искусственного интеллекта. В рамках этого метода ни эксперты, оценивающие ответы, ни сами модели не знают, какой именно алгоритм генерирует результат. Такой подход призван минимизировать субъективные предпочтения и когнитивные искажения, которые часто возникают при оценке ответов нейросетей людьми. Традиционные методы тестирования ИИ часто страдают от предвзятости, когда оценщики подсознательно отдают предпочтение более известным моделям или стилистическим особенностям текста. Внедрение двойного слепого контроля позволяет сделать процесс сравнения более объективным и научным. Разработчики надеются, что этот стандарт станет отраслевым эталоном, помогая точнее определять реальную эффективность моделей в различных задачах, от написания кода до творческого письма. На текущем этапе проект находится в стадии пилотного тестирования. Команда DeepMind планирует изучить, как именно строгие протоколы оценки влияют на итоговые показатели производительности и насколько эффективно они помогают выявлять скрытые недостатки в архитектурах моделей. Это важный шаг к созданию более надежных и прозрачных инструментов для измерения прогресса в области генеративного ИИ.