10、网络爬虫技术与多格式文档解析管理全解析

网络爬虫技术与多格式文档解析管理全解析

1. 网络爬虫库与框架

1.1 网络爬虫库

1.1.1 网页爬取库

网页爬取环节的主要目的是实现 HTTP 请求，读取 URL 地址指定的网络资源并本地保存。常用的网页爬取库有 urllib、requests、selenium、pyppeteer、aiohttp 等。
- urllib ：Python 内置的 HTTP 请求库，包含四个模块：
1. request ：HTTP 请求模块，模拟发送请求，传入 URL 和参数即可。
2. error ：异常处理模块，捕获请求错误并处理。
3. parse ：实用工具模块，提供 URL 处理方法。
4. robotparser ：网站识别模块，识别 robots.txt 文件确定可爬取网站。
- requests ：Python 第三方库，封装 urllib，使用更方便，功能丰富，如 p-Alive 和连接池、国际域名和 URL 支持等。

1.1.2 网页分析库

网页分析是爬虫关键步骤，需从 XML 或 HTML 中定位提取信息。常用的网页分析库有 lxml、Beautiful Soup、re、PyQuery 等。
- lxml ：XML 和 HTML 解析器，可用 XPath 语法定位元素，兼容 ElementTr