Mac下文件编码修改问题

最新推荐文章于 2025-10-23 11:37:08 发布
原创 最新推荐文章于 2025-10-23 11:37:08 发布 · 1.1w 阅读 · 14
本文介绍了在Mac系统中遇到的文件编码问题，主要是由于文件编码为ASCII而非UTF-8导致的Python3处理错误。文章详细讲解了如何查看文件编码，并推荐了使用enca这个命令行工具进行智能识别和批量转换编码，还提到了Windows系统的简单解决方案。通过本文，读者可以了解ASCII、Unicode和UTF-8等编码，并学习如何解决不同编码带来的问题。

最近在使用python3做NLP中文文本分类时，遇到如下非常恼人的问题，一开始没有在意，后来忍无可忍弄了一天。

UnicodeDecodeError: 'utf8' codec can't decode byte 0xcc in position 468: invalid continuation byte

分析原因

原代码段
with open(filename,"r",encoding='utf-8') as f:
                content = f.read()
主要原因

和下载的搜狗语料库本身的编码有关系，本身编码是ASCII码，而我们需要以UTF-8来读取，这就超出python3的能力了就会报错。

如何查看编码

有很多命令可以用于查看，比如en

标签
#编码 #数据 #python3
最低0.47元/天 解锁文章
mac文件编码转换
04-15
可以实现 txt,xml,css,htm,html,php,jsp 很好的转换。
Mac电脑使用：解决Mac上“文本编码Unicode(UTF-8)不适用”、文本编码“中文 (GB 18030)不适用“的问题
热门推荐
全沾软贱开发攻城狮
05-13 12万+
在Mac电脑上面打开txt文件，有些时候由于格式不一样或者其他原因，会打不开txt文件，这样就需要我们对文本编辑的偏好设置里面进行修改即可。这里我只说两种打不开的情况，这两种情况就是标题说的这两种情况。 一、先介绍第一种情况：未能打开文稿“docs(1).txt”。文本编码“Unicode(UTF-8)”不适用 问题提示如下： 解决步骤： 1.打开文本编辑器，出现打不开txt文件...
Linux环境编程文件目录操作之nftw,ftw函数
chenyijun的专栏
09-11 1万+
本篇记录在Linux环境下，文件树操作之nftw和tfw函数，说明： nftw（）遍历位于目录目录路径下的目录树，并对树中的每个条目调用fn（）一次。默认情况下，目录在其包含的文件和子目录之前进行处理（按序遍历）。 为了避免用尽调用进程的所有文件描述符，nopenfd指定了nftw（）同时打开的最大目录数。当搜索深度超过此值时，nftw（）将变慢，因为目录必须关闭并重新打开。nftw）在目录树中的每个级别最多使用一个文件描述符。
Mac电脑提示文本编码Unicode(UTF-8)不适用的解决办法
snowpiaopiao的博客
11-18 6578
有的Mac用户发现双击 txt 文件(尤其是 PC 端传过来的),会弹出「未能打开文稿XXX,编码"Unicode(UTF-8)不适用」的警告。今天macw小编为大家带来Mac电脑文本编码Unicode(UTF-8)不适用的解决办法，快来GET一下吧！进入偏好设置之后，点击。
c++读取utf8文件_经常在日常工作中处理统一码文件(or其他编码)？这篇必读
weixin_39704727的博客
11-23 942
全文共2717字，预计学习时长5分钟对于那些经常在日常工作中处理统一码文件(也适用于其他编码)的人来说，这篇文章是必读的。对于自然语言处理的从业者，处理统一码文件是一场噩梦，尤其是使用Windows操作系统。想象一下，当在编码或解码过程中遇到错误时的沮丧，例如：UnicodeEncodeError: 'mbcs' codec can't decode characters in positionU...
mac编码查看及修改
weixin_40704661的博客
06-22 2万+
这里主要说三个方面：1、mac的系统编码；2、mysql字符编码（解决中文乱码和中文变 ？号）；3、编码引起的文件乱码问题。第一个容易：1，终端输入：locale，全是 zh_CN.UTF-8 属于正常，就别改了！2，vim ~/.bash_profile 或者是 touch .bash_profile    写入 LC_ALL="zh_CN.UTF-8" 保存退出。3，过五分钟再 locale ...
python申明文件编码_mac中python读取csv文件编码报错问题解决
weixin_39926040的博客
11-25 304
注：该文章基于mac环境。之前在写一个简单的分班程序的时候，使用如下命令行读取csv文件,with open('city.csv') as f:lines = f.readlines()出现了报错：‘utf-8’ codec can’t decode byte 0xb1 in position 0: invalid start byte含义为程序由于文件编码问题无法读取文件。查找了一些解决方法后终...
mac中python读取csv文件编码报错问题解决
weixin_34358365的博客
11-20 2479
注：该文章基于mac环境。 之前在写一个简单的分班程序的时候，使用如下命令行读取csv文件, with open('city.csv') as f: lines = f.readlines() 出现了报错： ‘utf-8’ codec can’t decode byte 0xb1 in position 0: invalid st...
苹果电脑python读取csv_mac中python读取csv文件编码报错问题解决
weixin_35973118的博客
02-05 2142
注：该文章基于mac环境。之前在写一个简单的分班程序的时候，使用如下命令行读取csv文件,with open('city.csv') as f:lines = f.readlines()出现了报错：‘utf-8’ codec can’t decode byte 0xb1 in position 0: invalid start byte含义为程序由于文件编码问题无法读取文件。查找了一些解决方法后终...
【MAC&Windows】Windows电脑的代码Mac打开乱码问题的解决方案
qq_33406970的博客
01-14 1187
这是因为window系统采用GBK的编码格式，而mac系统一版采用UTF-8的编码格式；
Eclipse文件中文乱码或Mac下Eclipse展现乱码怎么解决
reading-conference-writing
08-23 962
该问题一般在导入或从版本仓库下载别人的代码时出现。因为经常遇到，备注下便于查找。 修改编码一般针对两种情况： 工作空间（workspace） 将整个工作空间的文件设为同一个编码。 推荐：统一文件格式好处多多，避免文件不一致带来的编译、调试和展现问题。团队协作中更是如此。 打开菜单Windows->Preferences，点击选项General->Workspace，选择Text...
matlab不同版本之间编码出错问题20200825
小醇仔的专栏
08-25 2238
matlab不同版本之间编码出错问题 笔者在用matlab的过程中出现编码问题，原先是在mac下的matlab2020a版本写的源代码，后来在Windows下打开代码出问题，编程乱码。网上教程说是编码问题。 尝试进行修改。 要替换的是matlab\bin文件夹下的lcdata.xml文件 以lcdata_utf8.xml为基础修改。 首先，打开matlab\bin文件下的lcdata_utf8.xml，删除 <encoding name="GBK"> < encodi
将Mac终端改成GBK编码
最新发布
Code
10-23 276
最近学习中，频繁需要用Windows控制台和Mac终端来运行文件，但是Windows默认支持GBK编码，Mac终端识UTF-8，为了防止来回乱码，需要将Mac终端改成可以执行GBK编码的文件。第一步，打开终端，选择终端——设置——编码，选择对应编码。第二步，选择描述文件——高级，修改文本编码。第三步，关闭终端，重新打开，就OK了。
beyond compare乱码问题以及相同内容的文件也显示红色问题
weixin_43972388的博客
05-21 3557
如若侵权，请联系删除。文章出处：http://www.taodudu.cc/news/show-1691112.html?使用Beyond Compare进行对比时，常发现文件的中文注释变为乱码。每次看到乱码再手动调整为ANSI或UTF-8非常麻烦，所以直接在设置中修改默认编码。这就给文件对比带来很大不便。UNIX、PC或Mac的差异。UNIX、PC或Mac的差异。
mac下关于MySQL编码的问题
伦哥哥
04-29 538
背景 因为Mac的dmg文件在安装过程中并没有选择编码的步骤，而是默认的编码Latein1的格式，导致了中文乱码的问题。到网上也查询了不少，一些细节需要注意。 一、修改.cnf文件。 在etc目录下面新建一个cnf文件：my.cnf cd /etc vim my.cnf //没有这个文件会新建，若有就会打开进行修改。 添加编码内容： # Example MySQL ...
Mac下修改文档编码方式
m0_51448653的博客
04-25 3574
打开终端，使用vim工具 在vim工具中输入 然后保存 即可修改为utf-8
Mac中修改文件的编码
zhangvalue的博客
01-01 3666
Mac中想在一个文件夹中编想将文件的编码改UTF-8 一、首先安装enca brew install enca # Enca语法 Usage: enca [-L LANGUAGE] [OPTION]... [FILE]... enconv [-L LANGUAGE] [OPTION]... [FILE]... Detect encoding of tex...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte
中志融一的博客
11-09 7785
python数据编码格式的问题一直是困扰我们，我在Mac电脑的执行程序f1=open("fenci_result.txt",'r')报错：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte经过我多次实验，并查找各种学习资料，发现这段代码可以解决，通过以
Mac 转UTF-8编码格式
disiongo的博客
05-28 3500
新建一个目录abc，然后终端cd到该目录，把需要转的文件。
Mac 下文件编码转换的方法
欢迎来到我的博客
01-29 3236
Mac 下文件编码转换的方法
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值