Сущность засчитывается, если границы и тип совпали целиком; частичные совпадения обычно ошибка. Token accuracy завышена из‑за доминирования тега O.
Разбор
- Strict vs partial match схемы.
- Микро/макро по типам сущностей.
- Ошибки границы vs типа анализируйте отдельно.
- Align токенизатора с разметкой.
Итог
NER оценивают по сущностям, не по лёгким O-токенам.