【Python】爬虫+动态Cookie获取

一、前言

背景是帮助朋友爬取一个国家网站发布的肺炎疫情统计信息。

二、遇到的问题

朋友本来是打算按照最基本的方法进行爬取，代码如下：

import requests
import re

URL = "xxxxxx"
r = requests.get(URL)
#print(r)

但这样收到服务器的回复是HTTP 412，没有获得正常的回应。这就非常奇怪了，请求的页面看起来也是静态页面，没有跟用户进行交互，用浏览器打开能正常访问。由此猜测可能设置了"反爬虫"的操作，因此使用Postman发送请求试试看，结果还是HTTP 412，也返回了一个页面，但页面内容是JS代码。猜测可能是请求头需要设置新内容，服务器会根据请求头来返回相应的信息，于是用Chrome浏览器找到了请求头里的每一项。经过多次尝试，找到了请求头需要加Cookie这一项，否则无法传回目标网页信息。改写代码如下：其中Cookie内容从浏览器复制

URL = "xxxxx"
headers = {'Cookie':'ainfaoifivbiu'}
r = requests.get(URL,headers=headers)

返回信息显示HTTP 200，总算能正常获取页面了！

（还是有深深的疑惑：为啥这种公布信息的网站还要设置Cookie的限制呢？防止DDos？）

三、深入问题

虽然加入Cookie能获得目标网页信息，但是经测试Cookie的时效太短了，猜测只有一分钟，而且这种从浏览器复制Cookie的行为时不满足爬虫自动化的要求。那么自然想到能不能通过代码先获取到Cookie呢？

先勾勒一下整个交互过程：

客户端发送请求->服务器响应并传回Cookie->客户端将Cookie添加到请求头中，重新发送请求->服务器响应请求。

一般而言，服务器通过响应报文请求头里的Set-Cookie一项来设置Cookie，通过Postman抓取到Cookie来看又发现了问题