Перед началом
Выберите одну проверяемую идею. Определите исходный вариант — baseline — и изменённый — candidate. Сформулируйте критерий пригодного результата до запуска, чтобы не менять его после получения цифр.
Условия
Зафиксируйте набор задач, версии среды, модель при известной идентичности, лимиты, доступные инструменты и критерии качества. Используйте синтетические примеры для крайних случаев. Не публикуйте промпты, сообщения, credentials и данные аккаунтов.
Порядок сравнения
- Запустить baseline и сохранить результат и доступные метрики.
- Изменить только выбранный подход.
- Запустить candidate с сопоставимыми условиями.
- Проверить оба результата по одному критерию.
- Повторить пары запусков, чтобы увидеть разброс.
- Включить неудачные попытки и вспомогательную работу в затраты.
Форма отчёта
| Поле | Что записать |
|---|---|
| Задача | Цель и критерий пригодности |
| Условия | Версии, ограничения, различие вариантов |
| Качество | Принято или отклонено, причина |
| Время | До пригодного результата |
| Usage | Источник и полнота |
| Стоимость | Отдельная оценка или неизвестно |
| Повторения | Все результаты, включая неудачи |
| Ограничения | Что тест не проверяет |
Приёмка вывода
Снижение затрат учитывайте вместе с качеством. Если результат стал непригодным, меньший usage не является достаточным основанием рекомендовать изменение. Если данные частичные, это должно быть видно в выводе.
Источники и происхождение
- Skufosaur Master Codex v5.3
Предоставленный владельцем архитектурный документ. Основание постановки вопроса; не отчёт о выполненном эксперименте.