【资深工程师经验分享】：手把手教你定制Scrapy Downloader Middleware

2.5 内置中间件源码解读与启发

核心结构分析

func Logger() HandlerFunc {
    return func(c *Context) {
        start := time.Now()
        c.Next()
        latency := time.Since(start)
        log.Printf("%s %s took %v", c.Request.Method, c.Request.URL.Path, latency)
    }
}

设计启发

• 函数式编程风格提升可组合性
• 通过 c.Next() 实现责任链模式
• 轻量级接口便于扩展自定义逻辑

第三章：自定义中间件开发实战

3.1 创建第一个自定义 Downloader Middleware

启用自定义中间件

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

编写中间件逻辑

class CustomDownloaderMiddleware:
    def process_request(self, request, spider):
        request.headers['User-Agent'] = 'CustomBot/1.0'
        return None

3.2 请求头动态设置与反爬应对实践

常见请求头字段策略

• User-Agent：轮换不同浏览器和操作系统组合
• Accept-Encoding：声明支持的压缩格式
• Connection：保持连接状态一致性

代码实现示例

import requests
import random

USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36"
]

headers = {
    "User-Agent": random.choice(USER_AGENTS),
    "Accept": "text/html,application/xhtml+xml,application/xml",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8"
}
response = requests.get("https://example.com", headers=headers)

3.3 响应预处理实现数据清洗与日志记录

数据清洗流程

func DataCleaningMiddleware(next http.Handler) http.Handler {
    return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        // 包装ResponseWriter以捕获响应体
        writer := &responseCapture{ResponseWriter: w}
        next.ServeHTTP(writer, r)

        // 清洗响应数据
        cleanedBody := sanitizeJSON(writer.body)
        writer.ResponseWriter.Write(cleanedBody)
    })
}

日志记录策略

• 记录请求路径、响应状态码与处理耗时
• 脱敏后存储敏感字段（如密码、身份证）
• 异步写入日志队列，避免阻塞主流程

第四章：高级功能与性能优化

4.1 集成代理池实现请求IP轮换

代理池工作原理

代码实现示例

import requests
from random import choice

proxies_pool = [
    {'http': 'http://192.168.0.1:8080'},
    {'http': 'http://192.168.0.2:8080'},
    {'http': 'http://192.168.0.3:8080'}
]

def fetch_with_proxy(url):
    proxy = choice(proxies_pool)
    response = requests.get(url, proxies=proxy, timeout=5)
    return response.text

代理来源策略

• 免费公开代理：成本低，但稳定性差
• 商业代理服务：高可用性，支持API调用
• 自建代理节点：通过云服务器搭建，可控性强

4.2 利用缓存机制提升重复请求效率

缓存工作流程

常见缓存策略对比

代码示例：Go 中使用内存缓存

type Cache struct {
    data map[string]string
    mu   sync.RWMutex
}

func (c *Cache) Get(key string) (string, bool) {
    c.mu.RLock()
    defer c.mu.RUnlock()
    value, exists := c.data[key]
    return value, exists // 返回缓存值及是否存在
}

4.3 并发控制与下载延迟动态调整

动态调整下载间隔

sem := make(chan struct{}, 10) // 最大并发数
for _, url := range urls {
    sem <- struct{}{}
    go func(u string) {
        defer func() { <-sem }()
        download(u)
        time.Sleep(backoffDelay()) // 动态延迟
    }(url)
}

4.4 结合监控系统实现中间件行为追踪

数据采集配置示例

scrape_configs:
  - job_name: 'kafka_broker'
    metrics_path: '/metrics'
    static_configs:
      - targets: ['localhost:9090']

关键监控指标

• 请求延迟（P99、P95）
• 消息积压量（Consumer Lag）
• 连接数与吞吐量
• 错误码分布统计

第五章：总结与最佳实践建议

持续集成中的配置管理

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-app
spec:
  replicas: 3
  selector:
    matchLabels:
      app: my-app
  template:
    metadata:
      labels:
        app: my-app
    spec:
      containers:
      - name: app
        image: my-registry/my-app:v1.2.0 # 明确版本标签

安全加固策略

• 禁用 root 用户运行容器
• 启用只读根文件系统
• 限制能力集（Capabilities）
• 使用非特权端口（>1024）

监控与告警机制

灾难恢复演练