Активное обучение, выборочный audit precision очереди, silver labels с agreement, мониторинг частоты типов сущностей, canary на золотом наборе, оценка стоимости FP для бизнеса.
Разбор
- Полный F1 на всём проде недоступен.
- Дрейф новых сущностей.
- Human-in-the-loop коррекции.
- Срезы по длине документа.
Итог
В проде NER держат золотым canary + выборочным аудитом precision/recall.