Как разобрать (парсинг) HTML с помощью Python

sudo apt update

sudo apt install python3-pip -y

pip3 --version

pip 22.0.2 from /usr/lib/python3/dist-packages/pip (python 3.10)

Обычно интерпретатор Python по умолчанию включает пакет Requests, который позволяет отправлять запросы на удалённые серверы. Мы будем использовать его в примерах этого руководства.

Однако в некоторых случаях он может быть не установлен. Тогда вы можете установить requests вручную с помощью pip:

pip install requests

 

Если он уже установлен в системе, вы увидите следующее сообщение в терминале:

Requirement already satisfied: requests in /usr/lib/python3/dist-packages (2.25.1)

 

В противном случае команда добавит requests в список доступных пакетов для импорта в скрипты Python.

 

Использование BeautifulSoup

Чтобы установить BeautifulSoup версии 4, используйте pip:

pip install beautifulsoup4

 

После этого библиотека будет доступна для импорта в скрипты Python. Однако для корректной работы также требуются ранее упомянутые низкоуровневые обработчики HTML.

Сначала установите lxml:

pip install lxml

 

Затем установите html5lib:

pip install html5lib

 

В будущем вы сможете указать один из этих процессоров в качестве основного синтаксического анализатора для BeautifulSoup в своём коде на Python.

Создайте новый файл в вашем домашнем каталоге:

nano bs.py

Добавьте следующий код:

import requests
from bs4 import BeautifulSoup

# Запрос на веб-сайт 'https://andreyex.ru'
response = requests.get('https://andreyex.ru')

# Проанализируйте HTML-содержимое страницы с помощью синтаксического анализатора html5lib
page = BeautifulSoup(response.text, 'html5lib')

# Извлеките заголовок страницы
pageTitle = page.find('title')
print(pageTitle)
print(pageTitle.string)

print("")

# Извлеките все ссылки <a> на странице
pageParagraphs = page.find_all('a')

# Распечатайте содержимое первых 3-х ссылок (если они существуют).
for i, link in enumerate(pageParagraphs[:3]):
    print(link.string)

print("")

# Найдите все элементы div с классом, начинающимся на 'socials--'
social_links_containers = page.find_all('div', class_=lambda c: c and c.startswith('socials--'))

# Соберите ссылки из этих разделов
for container in social_links_containers:
    links = container.find_all('a', href=True)
    for link in links:
        href = link['href']

        # Игнорируйте ссылки, связанные с защитой электронной почты Cloudflare
        if href.startswith('/cdn-cgi/l/email-protection'):
            continue

        print(href)

 

Теперь запустите скрипт:

python bs.py

 

Это приведет к следующему выводу на консоль:

<title>AndreyEx - ИТ Блог. Администрирование серверов на основе Linux (Ubuntu, Debian, CentOS, openSUSE). Разработка сайтов на CMS WordPress</title>
AndreyEx - ИТ Блог. Администрирование серверов на основе Linux (Ubuntu, Debian, CentOS, openSUSE). Разработка сайтов на CMS WordPress

...

Конечно, вместо html5lib вы можете указать lxml:

page = BeautifulSoup(response.text, 'lxml')

 

Однако в качестве процессора лучше всего использовать библиотеку html5lib. В отличие от lxml, которая специально разработана для работы с разметкой XML, html5lib полностью поддерживает современные стандарты HTML5.

Несмотря на то, что библиотека BeautifulSoup имеет лаконичный синтаксис, она не поддерживает эмуляцию браузера, то есть не может динамически загружать контент.

 

Использование Scrapy

Фреймворк Scrapy реализован более объектно-ориентированным способом. В Scrapy анализ веб-сайтов основан на трёх основных сущностях:

• Паукеры: классы, содержащие информацию о деталях синтаксического анализа для указанных веб-сайтов, включая URL-адреса, селекторы элементов (CSS или XPath) и механизмы просмотра страниц.
• Элементы: переменные для хранения извлечённых данных, которые представляют собой более сложные формы словарей Python со специальной внутренней структурой.
• Конвейеры: промежуточные обработчики извлечённых данных, которые могут изменять элементы и взаимодействовать с внешним программным обеспечением (например, с базами данных).

 

Вы можете установить Scrapy через pip менеджер пакетов:

pip install scrapy

 

После этого вам нужно инициализировать проект парсера, который создаст отдельный каталог со своей собственной структурой папок и файлами конфигурации:

scrapy startproject parser

 

Теперь вы можете перейти к только что созданному каталогу:

cd parser

 

Проверьте содержимое текущего каталога:

ls

 

В нем есть общий конфигурационный файл и каталог с исходными файлами проекта:

parser scrapy.cfg

 

Переместить в каталог исходных файлов:

cd parser

 

Если вы проверите его содержимое:

ls

 

Вы увидите как специальные скрипты Python, каждый из которых выполняет свою функцию, так и отдельный каталог для пауков:

__init__.py items.py middlewares.py pipelines.py settings.py spiders

 

Давайте откроем файл настроек:

nano settings.py

 

По умолчанию большинство параметров закомментированы символом решётки (#). Чтобы синтаксический анализатор работал корректно, вам нужно раскомментировать некоторые из этих параметров, не изменяя значения по умолчанию, указанные в файле:

• USER_AGENT
• ROBOTSTXT_OBEY
• CONCURRENT_REQUESTS
• DOWNLOAD_DELAY
• COOKIES_ENABLED

 

Для каждого конкретного проекта потребуется более точная настройка фреймворка. Все доступные параметры можно найти в официальной документации.

После этого вы можете сгенерировать нового паука:

scrapy genspider hostmanspider andreyex.ru

 

После выполнения приведённой выше команды на консоли должно появиться сообщение о создании нового паука:

Created spider ‘hostmanspider' using template 'basic' in module:
 parser.spiders.hostmanspider

 

Теперь, если вы проверите содержимое каталога spiders:

ls spiders

 

Вы увидите пустые исходные файлы для нового spider:

__init__.py  __pycache__  hostmanspider.py

 

Давайте откроем файл скрипта:

nano spiders/hostmanspider.py

 

И заполните его следующим кодом:

from pathlib import Path  # Package for working with files
import scrapy  # Пакет из фреймворка Scrapy

class HostmanSpider(scrapy.Spider):  # Класс Spider наследуется от класса Spider
        name = 'hostmanspider'  # Name of the spider

        def start_requests(self):
                urls = ["https://andreyex.ru"]
                for url in urls:
                        yield scrapy.Request(url=url, callback=self.parse)

        def parse(self, response):
                open("output", "w").close()  # Очистите содержимое "output" файла
                someFile = open("output", "a")  # Создайте (или добавьте к нему) новый файл

                dataTitle = response.css("title::text").get()  # Извлеките заголовок из ответа сервера с помощью CSS-селектора

                dataA = response.css("a").getall()  # Извлеките первые 3 ссылки из ответа сервера с помощью CSS-селектора

                someFile.write(dataTitle + "\n\n")
                for i in range(3): 
                    someFile.write(dataA[i] + "\n")
                someFile.close()

 

Теперь вы можете запустить созданный spider с помощью следующей команды:

scrapy crawl hostmanspider

 

При запуске паука в текущем каталоге будет создан выходной файл. Чтобы просмотреть содержимое этого файла, вы можете использовать:

cat output

 

Содержимое этого файла будет выглядеть примерно так:

AndreyEx - ИТ Блог. Администрирование серверов на основе Linux (Ubuntu, Debian, CentOS, openSUSE). Разработка сайтов на CMS WordPress

<a class="nav-link" title="Социальные сети" href="https://andreyex.ru/">Главная</a>
<a class="nav-link" title="Социальные сети" href="https://andreyex.ru/category/socialnye-seti/">Соц сети</a>
<a class="nav-link" title="Учебное пособие по Linux" href="https://andreyex.ru/operacionnaya-sistema-linux/">Linux</a>

 

Более подробную информацию о извлечении данных с помощью селекторов (как CSS, так и XPath) можно найти в официальной документации Scrapy.

 

Заключение

Анализ данных из удаленных источников в Python становится возможным благодаря двум основным компонентам:

1. Пакет для отправки удаленных запросов
2. Библиотеки для синтаксического анализа данных

 

Эти библиотеки могут варьироваться от простых, подходящих только для анализа статических веб-сайтов, до более сложных, которые могут имитировать поведение браузера и, следовательно, анализировать динамические веб-сайты.

В Python наиболее популярными библиотеками для синтаксического анализа статических данных являются:

• BeautifulSoup
• Scrapy

 

Эти инструменты, похожие на функции JavaScript (например, getElementsByClassName() с использованием селекторов CSS), позволяют извлекать данные (атрибуты и текст) из элементов дерева DOM любого HTML-документа.