Аудит AI-системы, которую сделал не ты: пять вопросов

Систему приносят в виде «работает, но непонятно как»: скрипты, промпты в переписке, ключи в env, никто не знает, что менялось две недели назад. Я не начинаю с чтения кода.

Пять вопросов, с которых начинается аудит:

• что делает система, когда модель отвечает мусором;
• сколько стоит один запуск и сколько в месяц;
• кто видит данные: вендор, подрядчик, стажёр;
• что будет, если ключ утечёт завтра;
• как за 10 минут понять, что качество упало.

«Не знаем» на два вопроса — сначала наблюдаемость и лимиты, потом новые функции. Переписать с нуля всегда успеется: чаще система ломается не от плохой архитектуры, а от того, что её никто не измерял.