Что сделать
- Запишите версии набора, стенда, агента и модели.
- Запустите кандидатов на одинаковых задачах с одинаковыми лимитами.
- Сравните результаты вместе с затратами и списком провалов.
Почему версия важна
В выпуске от 6 мая исправили 28 из 89 задач. В сравнении авторов Claude Code с Opus 4.6 прибавил 12,1 процентного пункта. У других связок прирост был меньше, у нескольких результат немного снизился.
Сравнивать такие проценты без версии — как спорить, кто быстрее, пока каждый бежит свою дистанцию.
Первоисточник и результаты по конфигурациям