СкуфозаврEN
Меню
← Все новости

Разбор

80%

Помогает выбрать сопоставимые условия перед сравнением агентов по рейтингу.

Сравниваете агентов? Сначала проверьте версию теста

В Terminal-Bench 2.1 исправили 28 из 89 задач. Сравнивайте результаты на одной версии.

Что сделать

  1. Запишите версии набора, стенда, агента и модели.
  2. Запустите кандидатов на одинаковых задачах с одинаковыми лимитами.
  3. Сравните результаты вместе с затратами и списком провалов.

Почему версия важна

В выпуске от 6 мая исправили 28 из 89 задач. В сравнении авторов Claude Code с Opus 4.6 прибавил 12,1 процентного пункта. У других связок прирост был меньше, у нескольких результат немного снизился.

Сравнивать такие проценты без версии — как спорить, кто быстрее, пока каждый бежит свою дистанцию.

Первоисточник и результаты по конфигурациям

Плюс, если помогло