Разные формы NFC/NFD, невидимые символы, zero-width, гомоглифы, неразрывные пробелы, смешанные RTL-скрипты — ломают матчинг, токенизацию и дедуп.
Разбор
- Единая нормализация на train/serve.
- Логировать codepoints при багах.
- Фишинг гомоглифами в security NLP.
- Тесты на «одинаковый на вид» текст.
Итог
Текст «как символы» ≠ текст «как выглядит» — нормализуйте явно.