去年我们做过一个叫「学长问答」的社群活动，里面沉淀了大量有价值的互动信息，后来因为各种原因终止了。今天和涂腾聊起来，觉得这些信息就这么沉寂了太浪费。所以就试着用python爬取了知识星球的内容。

公司在2017年3月的时候开发过一个「数据中心」，是将有赞的用户和订单信息通过API拉取到自己开发的网站上，再结合我们自己和用户沟通的信息，组成一个简单的用户管理中心。数据中心虽然简单，但对我们意义非常大，它的出现标志着我们想要定位一个用户的时候告别了“办...

1.判断要爬取的页面是html结构还是json结构，就用检查里找到的节点属性名，去源代码里面搜索。查看网页源代码，如果是有清楚html标签的则为html结构，如：

23.python with语法 with *** as （函数名），先来对比一下： {代码...} {代码...} 其实相当于把函数的逻辑部分放在with后面，然后把命名函数的方法变为as **。 22.优雅使用字符串 使用 % 格式化字符串；使用.format()进行高级操作； 21.xpath的使用 /表示的是从文档...

网页经过了gzip压缩，需要解压： {代码...} 更推荐直接使用requests库： {代码...}

18. random()的用法 {代码...} 17.lambda函数 {代码...} 16.两个变量值互换 {代码...} 15. insert()函数的使用 {代码...} 14. 在循环外使用else 今天在练习一个题目：求100之内的素数。，我写的代码如下： {代码...} 输出的结果和我的期待大相径庭，分析之后发现在if...

{代码...} 意思是数字和字符串不能放在一起运算，出现的代码如下： {代码...} 解决办法是把改为num = int(input('请输入一个1到40之间的数字'))强制把字符串转化为数字格式。 上面的例子中，表示「且」关系的应该是and而不是&

今天练习了用爬虫批量爬取网站文件。练习对象是一个妹子图片网站，网址在代码里有哈哈哈，最后实现了将妹子的大图批量下载到电脑里，好爽嘿嘿嘿。收获如下：

今天练习了抓取多页天涯帖子，重点复习的知识包括 soup.find_all和soup.selcet两个筛选方式对应不同的参数； 希望将获取到的多个内容组合在一起返回的时候，要用'zip()'的代码来实现； 两层代码结构之间的关系如何构造； 这里有一个疑问：有时候一个标签可以有多个属...

小程序里不能使用table，所以做如下处理，参考这里 {代码...} {代码...}

小程序里面，字符串不能用-，必须用下划线_才可以，否则就会报错。

帮我熟悉： 获取行数的公式：usedrange.rows.count offset/risize/merge等函数的使用。 {代码...}

{代码...}

找行和列的方法 {代码...} 用find函数的方法 {代码...}

{代码...} ][1]

{代码...}