Трекают task success, human ratings, latency/cost per request, fallback rate, safety incidents и влияние на core product metrics, не только «число генераций».
Разбор
- Cost может съесть margin.
- Hallucination/safety guardrails.
- Сегменты промптов/use cases.
- Offline eval + online.
Итог
AI-метрики балансируют качество, стоимость, безопасность и продуктовый эффект.