Как работает процесс машинного обучения в чат-ботах для обработки запросов?

Процесс машинного обучения в чат-ботах для обработки запросов включает несколько этапов: bigdataschool.ru

1. Предварительная обработка текста. bigdataschool.ru Токенизация (разбиение на слова), исправление опечаток, лемматизация и стемминг (определение нормальной формы слов и частей речи), отбрасывание стоп-слов (артикли, междометия, союзы и пр.). bigdataschool.ru
2. Расширение запроса. bigdataschool.ru С помощью словарей синонимов, дополнение информацией о значимости отдельных слов, расширение запроса деревом синтаксического разбора и результатами разрешения местоимений, а также определение именованных сущностей. bigdataschool.ru
3. Классификация запроса. bigdataschool.ru На основе примеров фраз и ML-алгоритмов или формальных правил (шаблонов), ранжирование гипотез классификации в соответствии с текущим контекстом беседы. bigdataschool.ru
4. Извлечение параметров запроса из фразы пользователя. bigdataschool.ru

Для обучения чат-бота используются датасеты — наборы данных, которые содержат примеры с правильными ответами: тегами, классами, показателями. developers.sber.ru Такие датасеты называют размеченными. developers.sber.ru При обучении нейронная сеть на основе входных данных предсказывает выходные данные, которые сравниваются с правильными ответами. developers.sber.ru Расхождение между выходными данными и правильным ответом используется для улучшения параметров нейросети. developers.sber.ru

Также используется «обучение без учителя» (unsupervised learning). developers.sber.ru В этом случае у сети есть набор данных, но нет правильных ответов. developers.sber.ru Нейронная сеть извлекает полезные признаки, анализирует их и пытается самостоятельно найти корреляции. developers.sber.ru