Zapisz do pliku UTF-8 w Pythonie

Jestem naprawdę mylony z codecs.open function. Kiedy robię:

file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()

Daje mi to błąd

UnicodeDecodeError: Kodek „ascii” nie może dekodować bajtu 0xef w pozycji 0: porządek poza zakresem (128)

Jeśli zrobię:

file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()

To działa dobrze.

Pytanie brzmi, dlaczego pierwsza metoda zawodzi? A jak wstawić BOM?

Jeśli druga metoda jest poprawna, to po co codecs.open(filename, "w", "utf-8")?

Myślę, że problem polega na tym, że codecs.BOM_UTF8jest to ciąg bajtów, a nie ciąg Unicode. Podejrzewam, że procedura obsługi plików próbuje zgadnąć, co naprawdę masz na myśli na podstawie „Mam pisać Unicode jako tekst zakodowany w UTF-8, ale dałeś mi ciąg bajtów!”

Spróbuj napisać ciąg Unicode dla znaku kolejności bajtów (tj. Unicode U + FEFF), aby plik po prostu kodował go jako UTF-8:

import codecs

file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()

(To wydaje się dawać właściwą odpowiedź - plik z bajtami EF BB BF.)

EDYCJA: Sugestia S. Lott, aby użyć „utf-8-sig” jako kodowania, jest lepsza niż bezpośrednie pisanie BOM, ale zostawię tę odpowiedź tutaj, ponieważ wyjaśnia ona, co wcześniej się nie udawało.

Przeczytaj następujące: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

Zrób to

with codecs.open("test_output", "w", "utf-8-sig") as temp:
    temp.write("hi mom\n")
    temp.write(u"This has ♭")

Plik wynikowy to UTF-8 z oczekiwanym zestawieniem komponentów.

@ S-Lott podaje właściwą procedurę, ale rozwijając kwestie związane z Unicode , Python interpreter może zapewnić więcej informacji.

Jon Skeet ma rację (nietypowy) w odniesieniu do codecsmodułu - zawiera ciągi bajtów:

>>> import codecs
>>> codecs.BOM
'\xff\xfe'
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'
>>> 

Wybierając inną nit, BOMma standardową nazwę Unicode i można ją wprowadzić jako:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}"
>>> bom
u'\ufeff'

Jest również dostępny przez unicodedata:

>>> import unicodedata
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE')
u'\ufeff'
>>> 

Używam polecenia file * nix do konwersji nieznanego pliku zestawu znaków w plik utf-8

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()