Как работает механизм парсинга HTML-документов в Beautiful Soup?

Механизм парсинга HTML-документов в Beautiful Soup работает следующим образом: beautiful-soup.readthedocs.io

1. Документ преобразуется в Unicode, а HTML-объекты — в символы Unicode. beautiful-soup.readthedocs.io
2. Затем Beautiful Soup анализирует документ с помощью лучшего доступного парсера. beautiful-soup.readthedocs.io По умолчанию используется парсер HTML, если не указано иное. beautiful-soup.readthedocs.io
3. Библиотека преобразует сложный HTML-документ в сложное дерево объектов Python. beautiful-soup.readthedocs.io Всего четыре основных объекта: Tag, NavigableString, BeautifulSoup и Comment. code.tutsplus.com

Объект Tag ссылается на фактический тег XML или HTML в документе. code.tutsplus.com Объект NavigableString хранит текст в теге. code.tutsplus.com Объект BeautifulSoup используется для представления документа в целом. code.tutsplus.com

Для изменения используемого парсера при создании объекта BeautifulSoup нужно указать два аргумента: code.tutsplus.com фактическую разметку и синтаксический анализатор, который нужно использовать. code.tutsplus.com Поддерживаются парсеры html.parser, lxml и html5lib. code.tutsplus.com

Также Beautiful Soup автоматически исправляет невалидный HTML, пытаясь восстановить неправильную структуру документа. tproger.ru