从新闻爬虫代码拆解：爬虫核心逻辑与实战技巧

一、项目背景：为什么要写这个爬虫？

1. 需求场景：重复劳动的痛点

学校官网综合新闻页（综合新闻-中原工学院）每天更新，但手动收集新闻需要：

• 逐一点击列表页的新闻链接；
• 复制标题和正文；
• 翻页重复操作……

遇到新闻量较大时，20 篇新闻需要耗时半小时，效率极低。因此需要一个自动化工具，模拟人工操作，批量提取目标数据。

2. 代码结构：两个文件分工明确

项目仅包含两个 Python 文件，结构清晰：

news_crawler/
├─ main.py       （核心逻辑：翻页→抓链接→爬详情→保存）
└─ myhttp.py     （请求工具：封装请求逻辑、处理反爬和网络异常）

二、请求层：myhttp.py 的反爬与容错设计

1. 为什么需要封装请求工具？

直接使用requests.get()发请求会遇到两个问题：

• 反爬拦截：默认User-Agent暴露爬虫身份，可能被封 IP；
• 网络不稳定：偶发的 503（服务器忙）或断网会导致数据丢失。

myhttp.py的核心目标是解决这两个问题，代码如下：

# myhttp.py
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def send_request(url):
    # 1. 伪装请求头：避免被识别为爬虫
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }

    # 2. 重试策略：应对网络波动和服务器临时故障
    retry_strategy = Retry(
        total=3,                  # 总重试次数（首次请求+3次重试）
        backoff_factor=1,         # 重试间隔：1s→2s→4s（指数增长）
        status_forcelist=[429, 500, 502, 503, 504],  # 需要重试的状态码（服务器忙/错误）
        allowed_methods=["GET"]   # 仅对GET请求重试（安全，无副作用）
    )

    # 3. 会话复用：提升请求效率
    adapter = HTTPAdapter(max_retries=retry_strategy)
    session = requests.Session()  # 复用TCP连接（比单次请求快30%+）
    session.mount("https://", adapter)  # 为HTTPS请求应用重试策略
    session.mount("http://", adapter)   # 为HTTP请求应用重试策略

    # 4. 发送请求并处理异常
    try:
        response = session.get(url, headers=headers)
        response.encoding = response.apparent_encoding  # 自动识别编码（防乱码）
        return response.text, response.encoding  # 返回页面内容和编码
    except requests.RequestException as e:
        print(f"请求 {url} 失败: {e}")
        return None, None  # 异常时返回空值，由上层逻辑处理

2. 关键设计点解析

（1）User-Agent 伪装：反爬的第一道防线

网站的反爬系统会通过User-Agent字段识别请求来源。Pythonrequests库的默认User-Agent是