На конференции TechCrunch Disrupt директор по политике Hugging Face Айрин Солайман отметила, что методы тестирования ИИ-моделей остаются сложными и недостаточно зрелыми. По ее словам, доверие к результатам бенчмарков ограничено из-за проблем с воспроизводимостью и отсутствия единых подходов к сравнению различных тестов. Солайман подчеркнула, что текущие инструменты оценки быстро теряют эффективность, а экосистема независимых «встроенных» аудиторов, предлагаемая некоторыми лабораториями как альтернатива госрегулированию, нуждается в строгой стандартизации квалификаций. Эксперт также указала на усложнение процесса тестирования: теперь оценивается не только сама модель, но и вся система, включая инструменты доступа (harness) и агентов. Солайман отметила, что производительность модели сильно зависит от качества «обвязки», и более слабая модель с лучшим интерфейсом может показать лучшие результаты, чем передовая разработка. В связи с этим индустрии может потребоваться более унифицированный подход к бенчмаркингу, чтобы оценки оставались полезным инструментом для отрасли.