Как работает наивный байесовский классификатор?

Наивный байесовский классификатор — вероятностный алгоритм машинного обучения, основанный на теореме Байеса. dzen.ru nuancesprog.ru Он используется в разных задачах классификации. dzen.ru

Алгоритм работает на основе двух предположений: dzen.ru

1. Ни одна пара признаков не является зависимой. dzen.ru Например, цвет «красный» никак не связан с типом или происхождением автомобиля. dzen.ru
2. Каждому признаку придается одинаковое влияние (или важность). dzen.ru Например, зная только цвет и тип, невозможно идеально предсказать результат. dzen.ru

Процесс работы классификатора включает несколько шагов: nuancesprog.ru

1. Предварительная обработка текста. dzen.ru nuancesprog.ru Включает в себя удаление цифр, знаков препинания в строке, стоп-слов, упорядочивание слов и лемматизацию слов. dzen.ru nuancesprog.ru
2. Создание словаря слов и счётчика каждого слова в наборе данных для обучения. nuancesprog.ru
3. Вычисление вероятности для каждого слова в тексте и отфильтровывание слов, вероятность которых меньше пороговой. dzen.ru nuancesprog.ru Такие слова будут нерелевантными. nuancesprog.ru
4. Создание для каждого слова в словаре вероятности того, что это слово окажется в фейковых вопросах. nuancesprog.ru
5. Определение условной вероятности для использования её в наивном байесовском классификаторе. nuancesprog.ru
6. Вычисление прогнозируемого результата с помощью условных вероятностей. nuancesprog.ru

Наивный байесовский классификатор часто используется в анализе настроений, фильтрации спама, рекомендательных системах и других областях. dzen.ru proglib.io