Что я логирую у каждого вызова модели

Когда что-то ломается, я не читаю промпт. Я открываю лог вызова.

Минимум по каждому вызову: модель и её версия, входные и выходные токены, время ответа, id инструмента с аргументами, статус ошибки. Без этих полей разбор инцидента — гадание.

Отдельно пишу, какие документы попали в контекст. Половина «галлюцинаций» в моих проектах — это не выдумка модели, а устаревший или не тот файл в контексте.

Расход считаю не в токенах, а в цене за решённую задачу: дешёвая модель, которая трижды переспрашивает, обходится дороже.

Если вызов нельзя воспроизвести по логу — у вас не система, а рулетка.