|
1 | 1 | # pythonSpider
|
2 | 2 | some python spiders with BeautifulSoup & requests
|
3 | 3 |
|
4 |
| -##BS4 |
| 4 | +##by-bs4 |
5 | 5 |
|
6 |
| -### [github](bs4/github) |
7 |
| -- 爬取关注或粉丝列表 [followXXXList.py](bs4/github/github_followXXXList.py) |
8 |
| -- 爬取用户个人信息 [userInfo.py](bs4/github/github_userInfo.py) |
| 6 | +### [github](by-bs4/github) |
| 7 | +- 爬取关注或粉丝列表 [followXXXList.py](by-bs4/github/github_followXXXList.py) |
| 8 | +- 爬取用户个人信息 [userInfo.py](by-bs4/github/github_userInfo.py) |
9 | 9 |
|
10 |
| -### [58同城](bs4/58tongcheng) |
11 |
| -- 获取所有的二级菜单列表 [urlLists.py](bs4/58tongcheng/tc_urlLists.py) |
12 |
| -- 获取每一个url下的具体信息 [itemInfo.py](bs4/58tongcheng/tc_itemInfo.py) |
| 10 | +### [58同城](by-bs4/58tongcheng) |
| 11 | +- 获取所有的二级菜单列表 [urlLists.py](by-bs4/58tongcheng/tc_urlLists.py) |
| 12 | +- 获取每一个url下的具体信息 [itemInfo.py](by-bs4/58tongcheng/tc_itemInfo.py) |
13 | 13 |
|
14 |
| -### [豆瓣](bs4/douban) |
15 |
| -- 获取单个电影的短评 [comment.py](bs4/douban/douban_comment.py) |
16 |
| -- 获取单个电影的所有大图海报 [photosR.py](bs4/douban/douban_photosR.py) |
| 14 | +### [豆瓣](by-bs4/douban) |
| 15 | +- 获取单个电影的短评 [comment.py](by-bs4/douban/douban_comment.py) |
| 16 | +- 获取单个电影的所有大图海报 [photosR.py](by-bs4/douban/douban_photosR.py) |
17 | 17 |
|
18 |
| -### [知乎](bs4/zhihu) |
19 |
| -- 获取单个问题下面的回答所有图片,并存在以问题的名字命名的文件夹中 [quesImg.py](bs4/zhihu/zhihu_quesImg.py) 例子:[问题:你收藏的最美的萝莉图片是怎样的](bs4/zhihu/你收藏的最美的萝莉图片是怎样的?) |
20 |
| -- 获取知乎用户的个人信息 [userInfo.py](bs4/zhihu/zhihu_userInfo.py) |
| 18 | +### [知乎](by-bs4/zhihu) |
| 19 | +- 获取单个问题下面的回答所有图片,并存在以问题的名字命名的文件夹中 [quesImg.py](by-bs4/zhihu/zhihu_quesImg.py) 例子:[问题:你收藏的最美的萝莉图片是怎样的](by-bs4/zhihu/你收藏的最美的萝莉图片是怎样的?) |
| 20 | +- 获取知乎用户的个人信息 [userInfo.py](by-bs4/zhihu/zhihu_userInfo.py) |
21 | 21 |
|
22 |
| -### [股票交易数据](bs4/stock) |
23 |
| -- 获取该支股票的指定年度指定季度的数据并写入csv [stock2csv.py](bs4/stock/stock2csv.py) |
24 |
| -- 获取该支股票的所有交易数据并写入txt [stock2txt.py](bs4/stock/stock2txt.py) |
25 |
| -- 获取该支股票的所有交易数据并写入以其股票代码命名的csv中 [stock2csvALL.py](bs4/stock/stock2csvALL.py) |
26 |
| -- 获取该支股票的所有交易数据并写入以其股票代码和名字命名的csv中 [stock2csvALLWithName.py](bs4/stock/stock2csvALLWithName.py) |
| 22 | +### [股票交易数据](by-bs4/stock) |
| 23 | +- 获取该支股票的指定年度指定季度的数据并写入csv [stock2csv.py](by-bs4/stock/stock2csv.py) |
| 24 | +- 获取该支股票的所有交易数据并写入txt [stock2txt.py](by-bs4/stock/stock2txt.py) |
| 25 | +- 获取该支股票的所有交易数据并写入以其股票代码命名的csv中 [stock2csvALL.py](by-bs4/stock/stock2csvALL.py) |
| 26 | +- 获取该支股票的所有交易数据并写入以其股票代码和名字命名的csv中 [stock2csvALLWithName.py](by-bs4/stock/stock2csvALLWithName.py) |
27 | 27 |
|
28 | 28 | ##scarpy
|
29 | 29 |
|
30 |
| -### [wiki](scarpy/wikiSpider) |
| 30 | +### [wiki](by-scarpy/wikiSpider) |
0 commit comments