Быстрая проверка
До запуска определите критерий приёмки, предел повторов и условия передачи решения человеку.
Скачать сценарий проверки · node check-stop-policy.mjs
Пять сценариев проверяют приёмку, передачу решения, исчерпанный бюджет, обоснованный повтор и повторяемый сбой.
Синтетические данные. Сценарий проверяет правило, замеров модели и стоимости здесь нет.Зачем нужно правило
Если задача сформулирована как «улучшай, пока можешь», почти любой результат допускает ещё одну попытку. Исполнитель продолжает работу, но пользователь не знает, когда получит пригодный итог. Условие завершения связывает цикл с целью и разрешёнными затратами.
Четыре основания завершить шаг
- Приёмка пройдена. Получен результат, подтверждённый выбранной проверкой.
- Лимит достигнут. Исчерпан заданный предел времени, вызовов или доступного бюджета.
- Нет новой причины для повтора. Действие воспроизводит сбой без изменения условий.
- Нужно внешнее решение. Следующий шаг требует данных, доступа или выбора владельца.
Лимит не делает задачу выполненной. Его достижение означает остановку с обозначением оставшейся работы.
Пример
В искусственном сценарии агент пытается прочитать недоступный документ. Повтор того же запроса при неизменных разрешениях не добавляет информации. Полезный итог — назвать недоступный источник, объяснить, какую часть ответа нельзя подтвердить, и сохранить подготовленные результаты.
Для временного сбоя можно определить ограниченную политику ожидания и повторов. Её параметры выбираются по условиям системы; здесь не предлагается универсальное число попыток.
Что передать пользователю
Результат: что получено и проверено.
Статус: завершено / частично / остановлено.
Причина: конкретное основание остановки.
Осталось: один или несколько незавершённых пунктов.
Для продолжения: необходимые данные или решение.
Как проверить политику
Подготовьте случаи успешной приёмки, постоянной ошибки и временного отказа. Проверьте, что цикл заканчивается с правильным статусом и сохраняет полезные артефакты. Затем сравните число действий и пригодность результата с исходным поведением. Меньше повторов полезно только при сохранении необходимых проверок.
Источники и происхождение
- Редакция Skufosaur
Предлагаемая политика завершения на синтетических сценариях; эффективность не измерена.