【Python爬虫实战案例】采集城市桌游商家数据信息，做可视化演示

前言

这里容我罗嗦几句 😗

这个时间，我想大学生应该都回学校了吧，嘿嘿

现在应该蛮忙的，有些的还要准备开学考，临近毕业的朋友，也快要因为工作而烦恼了，但是！！

咱也是要有点娱乐时间的，俗话说劳逸结合嘛

正好周末我还要和朋友出去玩，这下雨天的，也不好在室外逛，索性就准备看看剧本杀或者其他桌游

咱就是干啥都是要有所准备的，这不得用python来采集采集这些桌游店的数据信息，比较比较哪家更好吗

再顺便做个 可视化数据展示

那咱就直接开始吧

环境使用:

• Python 3.8
• Pycharm

模块使用:

• requests >>> pip install requests
• re
• csv

如何安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests)回车
2. 在pycharm中点击Terminal(终端) 输入安装命令

基本流程思路

一. 数据来源分析

1. 找url, 找我们想要数据从哪里来的
   采集美 —> 武汉 桌游 上商品数据
2. 通过开发者工具进行抓包分析
   F12 或者鼠标右键点击检查, 选择 network

二. 代码实现步骤过程: 固定四大步骤

1. 发送请求, 对于刚刚分析得到url地址发送请求

2. 获取数据, 获取服务器返回响应数据 —> 开发者工具里面response

3. 解析数据, 提取我们想要数据内容 —> 店铺基本信息

4. 保存数据, 保存数据, 保存表格里面

5. 多页数据采集

多页数据采集 —> 循环 for <目的>

分析请求url地址参数变化

实现代码

导入模块

# 导入数据请求模块  ---> 第三方模块 需要在cmd里面进行 pip install requests  
import requests
# 导入格式化输出模块  ---> 内置模块 不需要安装
from pprint import pprint
# 导入csv模块  ---> 内置模块 不需要安装
import csv

创建文件

f = open('武汉桌游多页.csv', mode='a', newline=''