scrapy 中解决 xpath 中的中文编码问题

最新推荐文章于 2024-02-02 16:54:11 发布
原创 最新推荐文章于 2024-02-02 16:54:11 发布 · 1w 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#scrapy xpath中文 #xpath语法
本文介绍了解决XPath定位中遇到Unicode或ASCII编码错误的方法。通过使用Unicode字符串进行匹配，成功定位到了目标元素，避免了NULL字节或控制字符引起的错误。

1、问题描述：

      实现定位<h2>品牌</h2>节点

      brand_tag = sel.xpath("//h2[text()= '品牌']")

      报错：ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters 

2、解决方法：

   （1）brand = u'品牌'
           brand_tag = sel.xpath("//h2[text()= '%s']"%(brand))

   （2）brand_tag = sel.xpath(u"//h2[text()= '品牌']")

除了H2testw，还有哪些工具能测U盘读写速度和扩容？实测对比这几款免费软件
weixin_28741413的博客
05-01 525
本文深度评测了5款专业U盘检测工具，包括H2testw、CrystalDiskMark等，帮助用户准确测试U盘读写速度和识别扩容盘问题。通过实测数据和专业建议，指导用户选择适合的工具，避免数据丢失风险，特别适合需要检测USB存储设备真实性能的用户。
scrapy爬虫获取网页特定内容
空気力学少女の诗
04-02 5678
有了url之后，用xpath表达式提取出来，再写到文件里即可
【代码备忘录】scrapy爬虫代码片段之xpath
风中尘埃的博客
01-06 264
def parse(self, response): groups = response.xpath('//*[@id="index"]/div[4]/div/div[1]/article') for group in groups: item = GeekParkItem() item['title'] = group.xpath('div[1]...
python xpath 中文乱码_耗时一周尝试踩坑，整理了一些Python实用知识点
weixin_39926104的博客
11-26 898
很零碎的知识点，有的是踩过的坑，不成系统，但是绝对很有用，知道的可以回顾下，不太了解的可以多学习下1、Python连接MySQL加编码记得加charset，没加的话部署Linux服务器运行可能有中文乱码，已踩坑2、最好用utf8mb4很多时候我会用sqlalchemy创建连接数据库引擎，charset用的utf8mb4，原因在于爬取的文本中有表情，utf8不行，同时，数据库、表，编码也都要保持一致...
xpath解析网页文件，每行结尾都出现编码“&#13”总结小tips
书山有路勤为径，学海无涯苦作舟
04-18 1548
最近正在学习爬虫之际，但是遇到了一个匪夷所思的问题：在使用按字符串序列化HTML文档的有些时候，在每一行的结尾都会出现 奇怪的字符，而且在xpath匹配时后面还不会进行截断。
scrapy xpath 然后extract返回的是unicode类型, 可以考虑转换为utf-8或者其他编码类型
hhczy1003的专栏
08-07 7147
遇到了这样一个问题。在scrapy中，通过启动时候传入settings控制抓取范围 如 scrapy crawl spiderName -s crawl_target=食品 然后在parse里面xpath找出来区域，判断 settings.crawl_target =? xpath.extract() 但是一直比较不出来，即使 食品 = 食品 这样两个print出来一样，但是 食品
[ 转 ] scrapy 中解决 xpath 中的中文编码问题
weixin_30672295的博客
12-17 175
1、问题描述： 实现定位<h2>品牌</h2>节点 brand_tag = sel.xpath("//h2[text()= '品牌']") 报错：ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or con...
scrapy中使用xpath遇到的中文问题
sofeien的专栏
10-13 2791
想要提取网页中所有"滚动"字样的链接，使用如下xpath response.xpath(u'//a[text()="滚动"]/@href').extract()
scrapy编码问题--终极版
天空晴朗☀心情很蓝
09-13 1218
爬虫遇到编码不对的情况是家常便饭，普通情况我就不一一说明了，一般常用 .encode('utf-8') .decode('utf-8') 编码-解码两个方法，多试几次总能解决。 当遇上一种情况，不管怎么调都无法转换正常编码的情况下，是由于在请求时需要直接对 response 进行编码转换。 即对应 requests 的 r = requests(url) r.encoding = '...
scrapy Unicode 编码 转 gbk或者其他
bingo_boy的专栏
12-03 1872
我抓出来也是uUnicode 形式的，我转码是用piplines这个  def __init__(self):  self.file = codecs.open('items.json', 'w', encoding='utf-8')  def process_item(self, item, spider):  line = json.dumps(dict(item)) + "\
scrapy 编码格式
qq_42329466的博客
10-20 1594
response.body.decode(编码格式)------例： response.body.decode('utf8') decode的作用是解决中文编码问题
Scrapy下xpath基本的使用方法
热门推荐
QZC295919009的专栏
01-15 1万+
http://www.cnblogs.com/huhuuu/p/3701017.html Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/ 　　之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式
Python报错——error:All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control chara
qq_44612243的博客
11-30 1565
调用python-docx写入docx 文档
解决pandas写入excel时的ValueError: All strings must be XML compatible报错
天才小呵呵的博客
02-02 1383
用pands批量写入excel文件，发生编码报错。很多方法都是针对自己任务中遇到的特定违法字符进行的替换操作，不具备一般性。所以这里列出了一个最终解法——逐个字符的判断是否符合xml编译规则，只保留符合规则的编码。 [1] 在python中过滤掉某些字节_python_Mangs-Python
Python报错——All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters
随手记录
11-05 2433
【代码】Python报错——All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters。
中文报错ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control chara
lansefly1990的专栏
02-26 9165
最近在研究python生成word文档，此处利用python-docx模块，发现含有中文时报错如下： ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters 修改为如下格式，即可规避该错误 p = document.add_paragraph(...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值