Что именно работает в продакшене: только инференс, полный пайплайн с подготовкой данных или отдельный контур оценки. Полезно указать, где заканчивается ваша зона ответственности и начинается внешняя.

Какие показатели вы уже снимаете: задержка ответа, стоимость вычислений на запрос, доля отказов, объём ручных правок. Если метрик нет — это тоже важный факт, он меняет план работ.

Как часто обновляется база знаний, есть ли версионирование наборов, попадают ли в контур персональные или чувствительные сведения. От этого зависит, какие меры защиты нужно предусмотреть.

Какие модели и сервисы вы вызываете, как часто меняются их версии, есть ли политика по отправке данных наружу. Смена версии внешней модели — типичная причина изменения качества.

Что в вашей команде считается сбоем, как он фиксируется и кто принимает решение о реакции. Если такого определения пока нет, его стоит сформулировать до, а не во время инцидента.

Что вы хотите получить от сопровождения: регулярную переоценку на офлайн-наборах, разбор сигналов от пользователей, пересмотр политики данных или всё вместе. Формулировка своими словами подходит лучше шаблонной.