Offline nDCG/Recall на размеченных; online — success rate, CTR осторожно (bias), time-to-success, support tickets; IPS для логов; регулярные редакционные eval sets.
Разбор
- Рассинхрон proxy и KPI.
- Позиционный bias.
- Долгие сессии vs один клик.
- Guardrail на токсичные выдачи.
Итог
Поиск живёт парой честных offline наборов и online task-success.