Confident learning, перекрёстные модели, ручной аудит спорных, мягкие метки, loss correction, снижение веса сомнительных; иногда лучше меньше чистых, чем много грязных.
Разбор
- Шум асимметричен по классам.
- Метрики на грязном test врут.
- Два аннотатора — agreement.
- Правила эвристик как слабый сигнал.
Итог
Грязные метки лечат процессом разметки и устойчивыми losses, не только «более глубокой» моделью.