Python urllib2报错"UnicodeDecodeError: 'utf8' codec can't decode byte 0xa1"

最新推荐文章于 2024-03-11 20:15:01 发布
原创 最新推荐文章于 2024-03-11 20:15:01 发布 · 6.1k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#python #urllib2 #乱码
本文介绍使用Python的urllib2库抓取网页时遇到的中文乱码问题及解决方法。通过调整字符集设置，成功将乱码转换为正确的中文内容。

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看
用python的urllib2抓取web页面时发现中文显示的乱码：
import urllib2

#获取手机号的归属地
url = "http://www.ip138.com:8080/search.asp?action=mobile&mobile=1380013"
request = urllib2.Request(url)
request.add_header('User-Agent', 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36')

response = urllib2.urlopen(request).read()
print response
返回结果有乱码？解码： 
print response.decode("UTF-8")
结果报错：
UnicodeDecodeError: 'utf8' codec can't decode byte 0xa1 in position 251: invalid start byte

最终发现，该接口返回页面用的字符集是gb2312，如图：

正确的方法：
print response.decode("gb2312")

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看
Python 2到3迁移实战：从健康体检到外科手术式重构
chudan0503的博客
06-14 380
Python版本迁移本质是代码健壮性升级，核心在于识别并解决Python 2/3间语法差异、字符串类型（bytes/str）语义断裂、字典视图行为变更等底层原理问题。其技术价值远超兼容性适配，直接关系到Unicode处理稳定性、依赖链可靠性及生产环境可维护性。典型应用场景包括遗留系统现代化改造、金融/政务类高可靠性服务升级、以及CI/CD流水线标准化建设。本文聚焦真实迁移中的测试覆盖率驱动、阻塞依赖精准识别、futurize双阶段治理等关键实践，提供可审计、可回滚、可量化的工程化路径。
python 报错“UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte“的解决办法
盼君的程序人生
01-20 6233
用python 读取一个 txt 文件 with open(file, encoding='utf-8') as f: conlines = f.readlines() 运行报错： UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 解决方案： 检查文件的编码格式是否是 utf-8 . 统一编码格式 ...
已解决UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa1 in position 0: invalid start byte
努力让自己发光，对的人才能迎着光而来
07-14 2万+
已解决（Python读取csv文件报错）UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa1 in position 0: invalid start byte
python 报错"UnicodeDecodeError: 'utf-8' codec can't decode byte"的解决办法
weixin_34319374的博客
03-06 2269
最近写了一个Python读取csv文件，创建了一个excel文件后直接将其格式改为csv类型， 执行以下代码： import csvbirth_data = []with open("F://regnster.csv",encoding='utf-8') as csvfile: csv_reader = csv.reader(csvfile) # 使用csv.reader读取csvfi...
报错"UnicodeDecodeError: 'utf-8' codec can't decode byte"的解决办法
qq_44987376的博客
11-25 6万+
在读取数据文件时发现报错：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 原因： 在程序中设定文件打开的编码格式为“utf-8”,但是在保存文件时却发现原文件的编码方式是“ANSI” 解决办法： 打开文件，点击另存为 在编码一栏选择UTF-8，保存 ...
python 报错“UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte“ 的解决办法
cacasi2568的专栏
08-17 6973
最近写了一个Python小程序，用来统计《三国演义》中人物出场次数的。从网上下载一个”三国演义.txt”的文件，但是后来程序运行时出现以下报错：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa1 in position 0: invalid start byte 后来经过不断查找终于找到了解决办法。 由于我在程序中设定文件打开的编码格式为“utf-8”,但是我后来用电脑的记事本打开这个”三国演义.txt”文件，然后在点击另存为的时候，发现原文件
python编码错误：UnicodeDecodeError: 'utf8' codec can't decode
u011528082的专栏
02-12 3万+
python编码错误：UnicodeDecodeError: 'utf8' codec can't decode (2012-11-01 17:16:23) 转载▼ 标签：  杂谈 分类： python学习笔记 这个是在写hive的map脚本时遇到的，基本情况如下： map文件中调用了其他同学的公用函数，在hive脚本中
python pip 时 出现UnicodeDecodeError: ‘utf8‘ codec can‘t decode byte 0xa1 in position 12: invalid start
qq_41299338的博客
09-11 1212
BEGIN: 在使用pip安装时出现编码问题，如图： 找到python对应虚拟环境下的\lib\site-packages\pip_vendor\six.py文件修改第935行（一开始是935行我这里是936行是因为我此前修改了） 如图： 修改为： if isinstance(s, binary_type): try: return s.decode(encoding, errors) except Exception as err:
已解决UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xa1 in position 0: invalid start byte异常的正确解决
小明的Java问道之路
02-16 1万+
已解决UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 0: invalid start byte异常的正确解决方法，亲测有效！！！
UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte问题 解决方案
sunwei0130的专栏
03-03 1万+
1.检查文件是否是utf-8编码，可以用notepad++，在左下角查看 2.l在decode里添加“ignore”参数，line.decode("utf-8", "ignore")， 3.中文将utf-8改成gbk
Python3解决UnicodeDecodeError: 'utf-8' codec can't decode byte..问题 终极解决方案
热门推荐
技术笔记
10-06 55万+
0x00 问题引出： 最近在做一个买房自动化分析Python脚本，需要爬取网页。 在使用urllib获取reqest的response的时候，还要进行编码转换。 见语句： result = res.decode('utf-8') 当执行该语句的时候，会造成异常： UnicodeDecodeError: 'utf-8' codec can't decode byte 0x
UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte in position: invalid continuation byte报错解决
qq_46082765的博客
03-11 7224
在网上找了好久都是说把utf-8改成gbk,或者是改成gb2312，gb18030，但是对于我的代码来说都是报错，然后，我在就。因为存在文件的处理和读写，所以把全部的encoding都设置成了utf-8格式，但是总是报错显示。***,尝试了一下，成功了，特此记录。中找到建议改成***
Python3中urllib的UnicodeDecodeError错误
Gavin
12-12 6176
在用Python3抓取最简单的网页内容时，出现了这个错误： UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte 源代码如下： fp = urllib.request.urlopen(url) mybytes = fp.read() text = mybytes.d
python UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbd in position 0: invalid start byte
A_pinkpig的博客
04-04 1万+
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xbd in position 0: invalid start byte 我遇到该错误的地方有两处： 使用open函数后read数据 f = open('D:/test.csv','r',encoding='utf8') f.readlines() 使用pandas read_csv...
Python3错误：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 in position 2: 解决方法----django
莫秋的博客
05-16 2045
win10 Django2.0 版本信息 最近用Django写个人博客时，在使用 python manage.py runserver 报了一个错 这个我一开始是在设置–>区域与语言–>管理语音–>更改系统区域设置 将Beta版勾上一开始解决了，但我使用易语言时就会出现乱码，无奈又将beta勾掉了，后来经大佬点拨：问我电脑名是中文的吗？ 是啊 改为英文然后好了 ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 in position 0: invalid continuation byte
weixin_44322778的博客
05-12 7200
【写在前面】 今天在做说stm32和服务器之间的通信时因为编码格式问题导致了一些错误做个记录； 测试时搭载在云服务器上的python socket通讯模块数据接收部分代码如下： receive_data = serObj.recv(1024).decode('utf-8') 运行下来直接报错： UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xc7 in position 0: invalid continuation byte 【解决方案】 -
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 in position 126: invalid continuation byte
Thinkcortex的博客
01-12 2075
python3 在读文件时，用到了字符串处理方法， 所以将读出的内容转为str decode()默认转为utf-8编码，但当文件包含其他编码格式内容时，可能就会出错。所以通过制定编码不是一个好的解决办法。 可以： (1)l_bytes.decode("unicode_escape") (2)l_bytes.decode(encoding="utf-8", er...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值