Backporting Python 3 open (encoding = „utf-8”) do Python 2

Mam bazę kodu w Pythonie, zbudowaną dla Pythona 3, która używa stylu open () w Pythonie 3 z parametrem kodowania:

https://github.com/miohtama/vvv/blob/master/vvv/textlineplugin.py#L47

    with open(fname, "rt", encoding="utf-8") as f:

Teraz chciałbym przenieść ten kod do Pythona 2.x, aby mieć bazę kodu, która działa z Pythonem 2 i Pythonem 3.

Jaka jest zalecana strategia obejścia open()różnic i braku parametru kodowania?

Czy mogę mieć open()moduł obsługi plików w stylu Python 3 , który przesyła strumieniowo bajty, więc działałby jak Python 2 open()?

1. Aby uzyskać parametr kodowania w Pythonie 2:

Jeśli potrzebujesz tylko obsługi Pythona 2.6 i 2.7, możesz użyć io.openzamiast open. ioto nowy podsystem io dla Pythona 3, który istnieje również w Pythonie 2,6 i 2,7. Należy pamiętać, że w Pythonie 2.6 (a także 3.0) jest zaimplementowany wyłącznie w Pythonie i bardzo powolny, więc jeśli potrzebujesz szybkości odczytu plików, nie jest to dobra opcja.

Jeśli potrzebujesz szybkości i potrzebujesz obsługi języka Python 2.6 lub starszego, możesz użyć codecs.openzamiast tego. Ma również parametr kodowania i jest bardzo podobny do tego, io.openz wyjątkiem tego, że inaczej obsługuje zakończenia linii.

2. Aby uzyskać open()obsługę plików w stylu Python 3 , która przesyła strumieniowo bajty:

open(filename, 'rb')

Zwróć uwagę na „b”, co oznacza „binarny”.

Myślę

from io import open

powinieneś zrobić.

Oto jeden sposób:

with open("filename.txt", "rb") as f:
    contents = f.read().decode("UTF-8")

To może załatwić sprawę:

import sys
if sys.version_info[0] > 2:
    # py3k
    pass
else:
    # py2
    import codecs
    import warnings
    def open(file, mode='r', buffering=-1, encoding=None,
             errors=None, newline=None, closefd=True, opener=None):
        if newline is not None:
            warnings.warn('newline is not supported in py2')
        if not closefd:
            warnings.warn('closefd is not supported in py2')
        if opener is not None:
            warnings.warn('opener is not supported in py2')
        return codecs.open(filename=file, mode=mode, encoding=encoding,
                    errors=errors, buffering=buffering)

Następnie możesz zachować kod w sposób python3.

Zauważ, że niektóre API podoba newline, closefd, openernie działają

Jeśli używasz six, możesz spróbować tego, dzięki czemu wykorzystujesz najnowszy interfejs API Python 3 i możesz działać zarówno w Pythonie 2/3:

import six

if six.PY2:
    # FileNotFoundError is only available since Python 3.3
    FileNotFoundError = IOError
    from io import open

fname = 'index.rst'
try:
    with open(fname, "rt", encoding="utf-8") as f:
        pass
        # do_something_with_f ...
except FileNotFoundError:
    print('Oops.')

A porzucenie obsługi Pythona 2 to po prostu usunięcie wszystkiego, co dotyczy six.