Как я узнаю, что агент стал хуже: 20 задач и 10 минут

Агенты не ломаются громко. Они начинают делать чуть хуже: забывают поле, путают формат, дописывают то, о чём не просили. Заметить это «на глаз» невозможно — вы просто привыкаете к деградации.

Поэтому у меня есть набор из 15–20 задач с известным правильным ответом: типовые операции, которые агент делал нормально. Прогон занимает 10 минут и не требует человека. Меняю модель, промпт или инструменты — сначала прогон, потом откат.

Что внутри: пять задач на форматы (JSON, даты, суммы), пять на многошаговость с промежуточной проверкой и пять на «я не знаю» — правильно ли агент отказывается делать то, чего не может. Последний блок важнее: агент, который выдумывает ответ вместо отказа, дороже любого сбоя.

Правило: если у агента нет набора регрессий — у вас нет агента, у вас есть надежда.