Как оценить ROI внедрения модели, а не только AUC?

Связать confusion/ранги с деньгами: стоимость действий, capacity операторов, lift vs baseline политики, A/B на KPI, стоимость владения (поддержка, инференс).

Разбор

• Пилот на ограниченном трафике.
• Чувствительность к порогу.
• Долгий горизонт эффектов.
• Риски репутации/регуляторики.

Итог

ROI считает изменение решений и затрат, не площадь под ROC.