Несколько алгоритмов для автоматического создания новых слов из существующего слова:

1. Алгоритм «Абсолютня». 1 Нужно загрузить слова из файла со словарём в массив и перебрать его двумя вложенными циклами, чтобы получить очередную пару слов. 1 Затем посмотреть, подходит ли конец первого слова к началу второго, а потом наоборот — конец второго слова к началу первого. 1 Если подходит — вывести найденное сочетание и перейти к новой паре слов. 1 Если не подходит — попробовать уменьшить количество букв в пересечении и проверить снова. 1 Если дошло до минимально допустимого количества букв в пересечении, то сделать вывод, что с этой парой ничего не получится, и перейти к следующей. 1
2. Генератор на основе цепей Маркова. 2 Каждое следующее слово выбирается только на основании знаний о текущем слове, все остальные слова не учитываются. 2 Благодаря хранению в словаре данных о том, какие слова появляются чаще других, можно при выборе принять взвешенное решение. 2
3. Алгоритм Byte Pair Encoding (BPE). 3 Изначально BPE был представлен как простой алгоритм сжатия данных без потерь. 3 Для задач NLP алгоритм BPE был немного изменён: часто встречающиеся группы символов не заменяются на другой символ, а объединяются в токен и добавляются в словарь. 3