Оба строят субсловарный словарь слияниями частых пар символов/токенов. BPE мержит по частоте; WordPiece чаще выбирает мержи по правдоподобию LM. На инференсе жадно сегментируют слово.
Разбор
- Общий претренинг зависит от corpus merges.
- Редкие доменные термины дробятся сильно.
- Числа и код дробятся характерно.
- Несовместимые токенизаторы ломают transfer.
Итог
BPE/WordPiece — алгоритмы субсловового словаря через слияния.