如下图所示,在爬知网数据的时候一直遇到错误,一开始还以为是css选择器语法有误,后来才发现是知网屏蔽了请求。

如下图所示,加上谷歌爬虫代理,问题得到解决。

本文介绍了一种在爬取知网数据时遇到请求被屏蔽的问题,并分享了解决方案:通过使用谷歌爬虫代理成功绕过限制,实现数据抓取。
开发板推荐:天空星STM32F407VET6开发板
超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印
如下图所示,在爬知网数据的时候一直遇到错误,一开始还以为是css选择器语法有误,后来才发现是知网屏蔽了请求。

如下图所示,加上谷歌爬虫代理,问题得到解决。

开发板推荐:天空星STM32F407VET6开发板
超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印
9万+
7185

被折叠的 条评论
为什么被折叠?