В чем заключаются преимущества BPE-токенизации перед WordPiece?

Некоторые преимущества BPE-токенизации перед WordPiece:

• Обработка неизвестных слов. dzen.ru BPE более гибок в этом плане: он заменяет на неизвестный символ только незнакомый символ, в то время как WordPiece помечает всё исходное слово как неизвестное, если не может найти в словаре нужную часть. dzen.ru
• Адаптивность к частоте. dzen.ru Частые слова остаются целыми, а редкие разбиваются на подслова. dzen.ru
• Баланс между символьной и словарной токенизацией. quizlet.com BPE позволяет достичь баланса между токенизацией на уровне символов, которая позволяет обрабатывать любые слова, но создаёт очень длинные последовательности, и токенизацией на уровне слов, которая не может обрабатывать неизвестные слова. quizlet.com
• Простота реализации. quizlet.com BPE — относительно простой алгоритм, который легко реализовать. quizlet.com

При этом WordPiece считается более сложным, но и потенциально более «семантически осмысленным» подходом, чем BPE. dzen.ru Его вероятностная модель выбора пар для слияния позволяет создавать токены, которые лучше отражают морфологическую структуру языка. dzen.ru