Исследователи из Шаньдунского университета проанализировали влияние различных программных обвязок (harness) — Claude Code, OpenCode и mini-SWE-agent — на работу ИИ-моделей в задачах программирования. Согласно результатам, смена обвязки при использовании одной и той же модели дает статистически незначимые изменения в показателях успешности, сопоставимые с погрешностью при простом повторном запуске того же теста. При этом стоимость выполнения задачи может вырасти в три раза из-за объема системных промптов, которые отправляются на каждом шаге работы агента. Авторы отмечают, что многие заявления о превосходстве конкретных обвязок основаны на единичных запусках, что не учитывает естественную вариативность результатов. Единственным значимым фактором, влияющим на успех, оказалась функция «мышления» (thinking) моделей, однако её зависимость от конкретной обвязки остается не до конца изученной. Исследователи рекомендуют публиковать результаты повторных запусков для каждой конфигурации, чтобы отделить реальные улучшения от случайного шума.
Исследование: сложные обвязки для ИИ-агентов увеличивают расходы, но не повышают эффективность
Новое исследование показало, что выбор «обвязки» (harness) для ИИ-агентов почти не влияет на результат решения задач, но может утроить стоимость выполнения из-за системных промптов.




