Что повторяется
Документация OpenAI описывает повторное использование подходящей общей начальной части запросов. Стабильные инструкции и примеры следует отделять от изменяемых данных. Условия применимости зависят от модели; их нужно сверять перед внедрением.
Стабильная часть необходима, но сама по себе недостаточна: в выбранном API должны подходить граница кэширования, длина и настройки. Это проверяется по документации и фактическому usage.
Как читать результат
В документации используются отдельные сведения об обычном вводе, чтении из кэша и записи в кэш. Анализируйте доступные поля usage, задержку и фактические затраты вместе. Высокий процент попаданий сам по себе не подтверждает улучшение всей задачи.
Редакционный пример
Приложение проверяет искусственные обращения по одному правилу. Общая инструкция и примеры стоят первыми, новое обращение — после них. В первой серии используйте стабильную общую часть; во второй меняйте её порядок. Сохраняйте одинаковый набор обращений и критерий правильной классификации.
Граница вывода
Кэширование меняет обработку повторяемого ввода. Оно не исправляет лишние инструкции и не гарантирует правильный ответ. Skufosaur не предлагает здесь универсальные параметры API и не утверждает, что локальное приложение управляет кэшем поставщика.
Источники и происхождение
- OpenAI: Prompt caching
Документация просмотрена 2026-10-03. Здесь описан общий механизм без фиксации тарифов, срока хранения и параметров конкретной модели.
Область и ограничения источника →