СкуфозаврEN
Меню

Рецепт / Проверка результата

Определить пригодный результат до оптимизации

Примеры критериев приёмки для поиска, извлечения данных и изменений кода.

90%

Заранее фиксирует, что считать пригодным результатом.

Содержание и границы применения

Подготовка сравнительного эксперимента для ограниченной агентской задачи.

Примеры являются редакционными. Они не заменяют предметную экспертизу и не покрывают все риски приложения.

Сначала договор о результате

Выражение «ответ выглядит хорошо» трудно использовать для сравнения. Назовите наблюдаемое поведение: что должно присутствовать, что должно сохраниться и как это проверить. OpenAI рекомендует строить оценку вокруг конкретной задачи и включать разные классы случаев.

Три редакционных примера

Задача Критерий приёмки Проверка
Найти запись Нужная запись найдена; отсутствующая не выдумана Заранее известные примеры «есть» и «нет»
Извлечь поля Значения соответствуют исходнику; отсутствие обозначено Синтетический документ с пустым и неоднозначным полем
Исправить поиск Ошибка исправлена; сортировка сохранена Исходный сбой и сценарий сортировки

Это примеры проектирования проверки, а не опубликованные результаты.

Карточка задания

Цель:
Обязательные условия:
Входные данные и разрешённые источники:
Ожидаемый результат или правило его оценки:
Обычный случай:
Крайний случай:
Случай с отсутствующими данными:
Что считается отказом:
Что эта проверка не покрывает:

Как сравнивать

Используйте одну карточку для исходного и изменённого подхода. Сначала проверьте пригодность, затем сопоставляйте время и доступные затраты. Храните причины отказов: одинаковая доля успеха может скрывать разные ошибки.

Если оценку выполняет другая модель, заранее задайте ей критерий и проверяйте спорные решения человеком. Уверенный текст оценщика не становится объективным доказательством.

После изменения

Добавьте обнаруженный сбой в набор примеров, но сохраните старые случаи. Не подгоняйте критерий под уже полученный результат. Если бизнес-условия изменились, обозначьте новую версию проверки и объясните, почему старое сравнение больше не подходит.

Источники и происхождение