UnicodeDecodeError, 无效的延续字节

为什么下面的项目会失败？而为什么用"latin-1"编解码器会成功？

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

结果是。

 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:\Python27\lib\encodings\utf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte
bgporter
已编辑的问题 5日 四月 2011 в 1:27
编程
python unicode decode
5日 四月 2011 в 1:23
2 种观点
解决办法

在二进制中，0xE9看起来像1110 1001。如果你阅读维基百科上的UTF-8，你会发现这样的字节后面必须有两个形式为10xx xxxx的字节。因此，举例来说。

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

但这只是造成异常的机械原因。在这种情况下，你有一个几乎肯定是用拉丁语1编码的字符串，你可以看到UTF-8和拉丁语1看起来是不同的。

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

(注意，我在这里使用的是Python 2和3的混合表示。这个输入在任何版本的Python中都是有效的，但是你的Python解释器不太可能真的以这种方式同时显示unicode和byte字符串）。

Josh Lee
编辑本段答案5日 四月 2017 в 4:56
评论(2)

它是无效的UTF-8。 该字符是ISO-Latin1中的e-acute字符，这就是为什么用该编码集可以成功。

如果你不知道你所接收的字符串的代码集，你就会遇到一些麻烦。 最好是为你的协议/应用选择一个单一的编码集（希望是UTF-8），然后你就拒绝那些没有解码的编码。

如果你不能这样做，你就需要启发式方法。

Sami J. Lehtinen
编辑本段答案5日 四月 2011 в 1:35
评论(1)

因为UTF-8是多字节的，没有对应于你的`xe9和下面的空格组合的字符。

为什么在***utf-8和latin-1中都要成功？

在这里，同样的句子在utf-8中应该是怎样的。

>>> o.decode('latin-1').encode("utf-8")
'a test of \xc3\xa9 char'
评论(1)