File tree 3 files changed +23
-0
lines changed
3 files changed +23
-0
lines changed Original file line number Diff line number Diff line change @@ -89,7 +89,17 @@ Disallow: /
89
89
90
90
#### HTTP协议
91
91
92
+ 在开始讲解爬虫之前,我们稍微对HTTP(超文本传输协议)做一些回顾,因为我们在网页上看到的内容通常是浏览器执行HTML语言得到的结果,而HTTP就是传输HTML数据的协议。HTTP是构建于TCP(传输控制协议)之上应用级协议,它利用了TCP提供的可靠的传输服务实现了Web应用中的数据交换。按照维基百科上的介绍,设计HTTP最初的目的是为了提供一种发布和接收[HTML](https://zh.wikipedia.org/wiki/HTML)页面的方法,也就是说这个协议是浏览器和Web服务器之间传输的数据的载体。关于这个协议的详细信息以及目前的发展状况,大家可以阅读阮一峰老师的[《HTTP 协议入门》](http://www.ruanyifeng.com/blog/2016/08/http.html)、[《互联网协议入门》](http://www.ruanyifeng.com/blog/2012/05/internet_protocol_suite_part_i.html)系列以及[《图解HTTPS协议》](http://www.ruanyifeng.com/blog/2014/09/illustration-ssl.html)进行了解,下图是我在2009年9月10日凌晨4点在四川省网络通信技术重点实验室用开源协议分析工具Ethereal(抓包工具WireShark的前身)截取的访问百度首页时的HTTP请求和响应的报文(协议数据),由于Ethereal截取的是经过网络适配器的数据,因此可以清晰的看到从物理链路层到应用层的协议数据。
92
93
94
+ HTTP请求(请求行+请求头+空行+[ 消息体] ):
95
+
96
+ ![ ] ( /Users/Hao/Desktop/Python-100-Days/Day41-55/res/http-request.png )
97
+
98
+ HTTP响应(响应行+响应头+空行+消息体):
99
+
100
+ ![ ] ( /Users/Hao/Desktop/Python-100-Days/Day41-55/res/http-response.png )
101
+
102
+ > 说明:但愿这两张如同泛黄的照片般的截图帮助你大概的了解到HTTP是一个怎样的协议。
93
103
94
104
#### 相关工具
95
105
@@ -148,6 +158,19 @@ Disallow: /
148
158
149
159
6 . robotparser:解析robots.txt的工具
150
160
161
+ ``` Python
162
+ >> > from urllib import robotparser
163
+ >> > parser = robotparser.RobotFileParser()
164
+ >> > parser.set_url(https://github.com/%3Cspan%20class=%22pl-s%22%3E%3Cspan%20class=%22pl-pds%22%3E'%3C/span%3Ehttps://www.taobao.com/robots.txt%3Cspan%20class=%22pl-pds%22%3E'%3C/span%3E%3C/span%3E)
165
+ >> > parser.read()
166
+ >> > parser.can_fetch(' Hellokitty' , ' http://www.taobao.com/article' )
167
+ False
168
+ >> > parser.can_fetch(' Baiduspider' , ' http://www.taobao.com/article' )
169
+ True
170
+ >> > parser.can_fetch(' Baiduspider' , ' http://www.taobao.com/product' )
171
+ False
172
+ ```
173
+
151
174
### 一个简单的爬虫
152
175
153
176
构造一个爬虫一般分为数据采集、数据处理和数据存储三个部分的内容。
You can’t perform that action at this time.
0 commit comments