СкуфозаврEN
Меню

Рецепт / Проверка результата

Проверить изменение на одинаковых задачах

Рецепт сравнения baseline и candidate с качеством, затратами и ограничениями в одном отчёте.

90%

Помогает сравнить изменения на одинаковых задачах.

Содержание и границы применения

Локальный эксперимент на синтетических или разрешённых обезличенных задачах.

Рецепт ещё не является экспериментом. Размер выборки и критерии определяются задачей.

Перед началом

Выберите одну проверяемую идею. Определите исходный вариант — baseline — и изменённый — candidate. Сформулируйте критерий пригодного результата до запуска, чтобы не менять его после получения цифр.

Условия

Зафиксируйте набор задач, версии среды, модель при известной идентичности, лимиты, доступные инструменты и критерии качества. Используйте синтетические примеры для крайних случаев. Не публикуйте промпты, сообщения, credentials и данные аккаунтов.

Порядок сравнения

  1. Запустить baseline и сохранить результат и доступные метрики.
  2. Изменить только выбранный подход.
  3. Запустить candidate с сопоставимыми условиями.
  4. Проверить оба результата по одному критерию.
  5. Повторить пары запусков, чтобы увидеть разброс.
  6. Включить неудачные попытки и вспомогательную работу в затраты.

Форма отчёта

Поле Что записать
Задача Цель и критерий пригодности
Условия Версии, ограничения, различие вариантов
Качество Принято или отклонено, причина
Время До пригодного результата
Usage Источник и полнота
Стоимость Отдельная оценка или неизвестно
Повторения Все результаты, включая неудачи
Ограничения Что тест не проверяет

Приёмка вывода

Снижение затрат учитывайте вместе с качеством. Если результат стал непригодным, меньший usage не является достаточным основанием рекомендовать изменение. Если данные частичные, это должно быть видно в выводе.

Источники и происхождение

  • Skufosaur Master Codex v5.3

    Предоставленный владельцем архитектурный документ. Основание постановки вопроса; не отчёт о выполненном эксперименте.