Сначала договор о результате
Выражение «ответ выглядит хорошо» трудно использовать для сравнения. Назовите наблюдаемое поведение: что должно присутствовать, что должно сохраниться и как это проверить. OpenAI рекомендует строить оценку вокруг конкретной задачи и включать разные классы случаев.
Три редакционных примера
| Задача | Критерий приёмки | Проверка |
|---|---|---|
| Найти запись | Нужная запись найдена; отсутствующая не выдумана | Заранее известные примеры «есть» и «нет» |
| Извлечь поля | Значения соответствуют исходнику; отсутствие обозначено | Синтетический документ с пустым и неоднозначным полем |
| Исправить поиск | Ошибка исправлена; сортировка сохранена | Исходный сбой и сценарий сортировки |
Это примеры проектирования проверки, а не опубликованные результаты.
Карточка задания
Цель:
Обязательные условия:
Входные данные и разрешённые источники:
Ожидаемый результат или правило его оценки:
Обычный случай:
Крайний случай:
Случай с отсутствующими данными:
Что считается отказом:
Что эта проверка не покрывает:
Как сравнивать
Используйте одну карточку для исходного и изменённого подхода. Сначала проверьте пригодность, затем сопоставляйте время и доступные затраты. Храните причины отказов: одинаковая доля успеха может скрывать разные ошибки.
Если оценку выполняет другая модель, заранее задайте ей критерий и проверяйте спорные решения человеком. Уверенный текст оценщика не становится объективным доказательством.
После изменения
Добавьте обнаруженный сбой в набор примеров, но сохраните старые случаи. Не подгоняйте критерий под уже полученный результат. Если бизнес-условия изменились, обозначьте новую версию проверки и объясните, почему старое сравнение больше не подходит.
Источники и происхождение
- OpenAI: Evaluation best practices
Основание: проверка на задачах с обычными, крайними и сложными случаями. Шаблоны и примеры ниже разработаны редакцией Skufosaur.
Область и ограничения источника →