Дополнительно
UnicodeDecodeError, неверный байт продолжения
Почему нижеприведенный элемент не работает? и почему это удается с кодеком "латин-1"?
o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")
приводит к:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Python27\lib\encodings\utf_8.py",
line 16, in decode
return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte
216
7
В двоичном виде 0xE9 выглядит как
1110 1001
. Если вы прочитаете о UTF-8 в Википедии, вы увидите, что за таким байтом должны следовать два вида10xx xxxx
. Так, например:Но это только механическая причина исключения. В этом случае у вас есть строка, которая почти наверняка закодирована в латинице 1. Вы можете видеть, как UTF-8 и latin 1 выглядят по-разному:
(Примечание, я использую здесь микс Python 2 и 3. Вход действителен в любой версии Python, но ваш интерпретатор Python вряд ли будет отображать строки unicode и byte таким образом.)
У меня была та же ошибка, когда я пытался открыть файл csv методом pandas read_csv.
Решением было изменить кодировку на «латин-1»:
Это недействительный UTF-8. Этот символ является электронным символом в ISO-Latin1, поэтому он успешно работает с этим набором кодов.
Если вы не знаете набор кодов, в котором вы получаете строки, у вас возникли проблемы. Было бы лучше, если бы для вашего протокола / приложения был выбран один набор кодов (надеюсь, UTF-8), а затем вы просто отклонили бы те, которые не декодировались.
Если вы не можете этого сделать, вам понадобится эвристика.
Поскольку UTF-8 является мультибайтом, и нет символа, соответствующего вашей комбинации
\ xe9
плюс следующее пространство.Почему это должно быть успешным в и utf-8 и latin-1?
Вот как должно быть одно и то же предложение в utf-8:
Если эта ошибка возникает при манипулировании только что открытым файлом, проверьте, открыли ли вы его в режиме
' rb '
Это также случилось со мной, когда я читал текст, содержащий иврит из файла
.txt
.Я нажал:
file - > сохранить как
, и я сохранил этот файл как кодировкуUTF-8
В этом случае я попытался выполнить .py, который активировал путь / file.sql.
Мое решение состояло в том, чтобы изменить кодификацию file.sql на «UTF-8 без спецификации», и это работает!
Вы можете сделать это с Notepad ++.
я оставлю часть моего кода.
/ Код /
con = psycopg2.connect (host = sys.argv [1], port = sys.argv [2], dbname = sys.argv [3], user = sys.argv [4], password = sys.argv [5])
curor = con.cursor () sqlfile = open (путь, 'r')