UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 2: illegal multiby

编程入门 行业动态 更新时间:2024-10-10 06:19:28

最近在搞人工智能的东东,玩了玩词云的东西,在编写代码时,出现了一个问题。

目的:统计西游记里出现的词的内容。

读取西游记整本小说的内容,然后进行统计分析。

代码如下:

text = open('西游记.txt').read()

但是在执行的时候一直报错:
UnicodedecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 2: illegal multibyte sequence

分析可能是由于小说里的内容不是标准的gbk的内容导致的。

查看小说内容截图:

于是乎查找了一番,分析可能是由于小说里还有特殊的符号等内容导致的。

想法:需要进行编码转换。

于是修改代码为,添加了编码范围为utf-8:

text = open('西游记.txt' ,encoding='utf-8').read()

若依然报错,可以添加属性忽略非法字符内容

text = open('西游记.txt', encoding='utf-8', errors='ignore' )

哦了!!问题解决!!成功显示出图如下!!!

更多推荐

UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in positio

本文发布于:2023-06-14 01:13:00,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1421492.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:decode   byte   codec   UnicodeDecodeError   gbk

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!