JavaAlliance

爬虫的代码很简单： import urllib.request def run_demo(): f=urllib.request.urlopen('http://www.baidu.com/') print(f.read()) if __name__=='__main__': run_demo() 然后直接运行 显示结果如下 b’\n\n\r\n\r\n\r\n\r\n...

什么是Request,Response？ 浏览器发送消息给网址所在的服务器，这个过程就叫做HTPP Request 服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应的处理，然后把消息回传给浏览器，这个过程就是HTTP Response 浏览器收到服务器的Response信息后，会对信息进行相应的处理，然后展示 Request中包含什么？ 请求方式 主要有：GET/POST两种...

什么是Urllib？ Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 urlopen 关于urllib.request.urlopen参数的介绍： urllib.request.urlopen(u...

什么是Requests？ Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库 如果你看过上篇文章关于urllib库的使用，你会发现，其实urllib还是非常不方便的，而Requests它会比urllib更加方便，可以节约我们大量的工作。（用了requests之后，你基本都不愿意用urllib了）一句话，requests是pyth...

什么是正则表达式？ 正则表达式是对字符串操作的一种逻辑公式，就是 事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符”，这个“规则字符” 来表达对字符的一种过滤逻辑。 正则并不是python独有的，其他语言也都有正则 python中的正则，封装了re模块 python正则的详细讲解 常用的匹配模式 \w 匹配字母数字及下划线 \W 匹配非字母数字下划线 \s ...

爬虫的抓取方式有好几种，正则表达式，Lxml(xpath)与BeautifulSoup,我在网上查了一下资料，了解到三者之间的使用难度与性能 三种爬虫方式的对比。 这样一比较我我选择了Lxml(xpath)的方式了，虽然有三种方式，但肯定是要选择最好的方式来爬虫，这个道理大家都懂，另外有兴趣的朋友也可以去了解另外两种爬虫方式！ 好了现在来讲讲xpath 由于Xpath属于lxml模块，所以首先需...