До запуска
Выберите один сценарий с повторяющейся инструкцией. Подготовьте искусственные входные данные и критерий правильного ответа. Запишите модель, API, версию клиента и документированные условия кэширования. Не считайте первый запрос гарантированно холодным: общая часть могла уже использоваться.
Серии запросов
В серии A отправьте одну общую инструкцию с несколькими разными входами. В серии B внесите заранее определённое изменение в повторяющуюся часть. Порядок и условия серий сохраните в отчёте. Изменение не должно менять смысл задания: иначе сравниваются сразу два фактора.
Ограничьте число вызовов и стоимость теста заранее. Достигнутый лимит — причина завершить серию и обозначить неполноту.
Таблица наблюдений
| Поле | Что записать |
|---|---|
| Серия и запрос | A или B, порядковый номер |
| Общая часть | Идентификатор или безопасный хэш версии |
| Ввод | Общее количество по доступному usage |
| Кэш | Чтение и запись, если источник их различает |
| Время | Один и тот же способ измерения |
| Качество | Приёмка по заранее заданному правилу |
| Ошибка | Тип и поведение повторной попытки |
Если источник не сообщает поле, пишите «недоступно». Ноль уместен только тогда, когда он действительно возвращён и понятен его смысл.
Итог
Покажите все наблюдения и разброс задержки. Отдельно укажите, можно ли сравнить стоимость по использованному тарифу. Не перемножайте процент попаданий на всю цену задачи: выход, дополнительные запросы и другие услуги могут оцениваться отдельно.
При малой выборке вывод ограничивается этой серией. Для рекомендации нужны повторяемость, сохранение качества и понятные условия, при которых эффект исчезает.
Источники и происхождение
- Редакция Skufosaur
Собственный предлагаемый протокол. Поля и условия API следует брать из документации поставщика, указанной в связанном разборе.