Сначала опишите задачу словами: что модель должна знать, как часто эти знания меняются и насколько важен точный стиль формулировок. Дообучение меняет поведение модели и требует данных и вычислений при каждом обновлении. Поиск с генерацией подставляет актуальный контекст и не трогает веса. Если база знаний обновляется часто, обычно разумнее начать со второго варианта и вернуться к первому, когда накопится достаточно примеров.

Это типичная развилка. Автоматические метрики редко совпадают с ощущением качества у пользователя. Полезно разложить оценку на три уровня: быстрые проверки на регрессиях, офлайн-наборы с эталонными ответами и постоянный сбор сигналов из реального использования. Отдельно зафиксируйте версию промпта рядом с версией модели — иначе сравнение теряет смысл.

В продакшене инференс — это компромисс между задержкой, стоимостью вычислений и надёжностью. Стоит посмотреть, где именно теряется время: холодный старт, нехватка памяти на ускорителе, сетевые задержки между сервисами. Иногда помогает кэширование повторяющихся вызовов или батчинг, иногда — осознанное упрощение модели для части сценариев. Универсального рецепта нет, но наблюдаемость по этапам обычно показывает узкое место быстрее, чем догадки.

Работа с внешними моделями требует политики: что можно отправлять, что нельзя и как это контролировать технически. Прежде чем подключать сервис, ответьте, где физически обрабатываются данные, логируются ли запросы и можно ли отключить обучение на ваших данных. Практические меры — маскирование и псевдонимизация перед отправкой, локальные модели для чувствительных сценариев, журналирование доступа. Если ответы на базовые вопросы не находятся, интеграцию лучше отложить.

Опишите контекст: что за продукт, на каком этапе вы находитесь, какие варианты уже рассматривали и почему они не подошли. Конкретный вопрос про развилку почти всегда полезнее общего «что делать с ИИ». Если у вас есть ограничения — по данным, по инфраструктуре, по регуляторике — упомяните их сразу, это сильно меняет разбор.