gbk' codec can't decode byte 0xad in

崎山小鹿

Python中读取txt文本出现  'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

报错原因是读取的文件中有中文。

def load_data(filename):
    D = []
    with open(filename,'r') as f:
        for i, l in enumerate(f):
            l = json.loads(l)
            text, label = l['sentence'], l['label']
            D.append((text, labels.index(label)))
    return D

改成：
def load_data(filename):
    D = []
    with open(filename,'r', encoding='utf-8') as f:
        for i, l in enumerate(f):
            l = json.loads(l)
            text, label = l['sentence'], l['label']
            D.append((text, labels.index(label)))
    return D

崎山小鹿

使用python的时候经常会遇到文本的编码与解码问题，其中很常见的一种解码错误如题目所示，下面介绍该错误的解决方法，将‘gbk’换成‘utf-8’也适用。
（1）、首先在打开文本的时候，设置其编码格式，如：open(‘1.txt’,encoding=’gbk’)；
（2）、若（1）不能解决，可能是文本中出现的一些特殊符号超出了gbk的编码范围，可以选择编码范围更广的‘gb18030’，如：open(‘1.txt’,encoding=’gb18030’)；
（3）、若（2）仍不能解决，说明文中出现了连‘gb18030’也无法编码的字符，可以使用‘ignore’属性进行忽略，如：open(‘1.txt’,encoding=’gb18030’，errors=‘ignore’)；
（4）、还有一种常见解决方法为open(‘1.txt’).read().decode(‘gb18030’,’ignore’)
————————————————
版权声明：本文为CSDN博主「火贪三刀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/shijing_0214/article/details/51971734