通过爬取天猫商品评论实例分析Python爬取ajax动态生成的数据

本文主要通过爬取天猫商品kindle的评论为例来说明利用python爬取ajax动态生成的数据的方式，本文使用的工具如下：

工具

1. chrome浏览器【寻找评论的动态链接】
2. python3.5【执行代码】
3. mysql【存储爬虫获得的数据】

寻找链接

首先，我们要寻找到kindle商品的评论列表，如下：

和一般静态网页不同的是，动态网页的链接并不在浏览器的顶部可以看到，也就是不可以轻易获得，但是我们可以通过以下步骤找到链接：

1. 右键点击-检查-Network

2. 将评论列表往下翻，选择第2页，看到左边Name多出来一些动态生成的数据，可以找到红线框住的内容就是我们要找的动态链接：

链接如下：