Konwertuj bajty na ciąg

Używam tego kodu, aby uzyskać standardowe wyjście z zewnętrznego programu:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

Metoda Communication () zwraca tablicę bajtów:

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Chciałbym jednak pracować z danymi wyjściowymi jako normalnym ciągiem Python. Żebym mógł wydrukować to w ten sposób:

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Myślałem, że po to jest metoda binascii.b2a_qp () , ale kiedy spróbowałem, znów otrzymałem tę samą tablicę bajtów:

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Jak przekonwertować wartość bajtów z powrotem na ciąg? Mam na myśli używanie „baterii” zamiast robienia tego ręcznie. I chciałbym, żeby było dobrze w Pythonie 3.

Musisz zdekodować obiekt bajtów, aby utworzyć ciąg znaków:

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

Musisz zdekodować ciąg bajtów i przekształcić go w ciąg znaków (Unicode).

W Pythonie 2

encoding = 'utf-8'
'hello'.decode(encoding)

lub

unicode('hello', encoding)

W Pythonie 3

encoding = 'utf-8'
b'hello'.decode(encoding)

lub

str(b'hello', encoding)

Myślę, że ten sposób jest łatwy:

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

Jeśli nie znasz kodowania, to aby wczytać dane binarne do łańcucha w sposób zgodny z Python 3 i Python 2, użyj starożytnego kodowania MS-DOS CP437 :

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

Ponieważ kodowanie jest nieznane, należy oczekiwać, że symbole w języku innym niż angielski cp437zostaną przetłumaczone na znaki (znaki angielskie nie są tłumaczone, ponieważ pasują do większości kodowań jednobajtowych i UTF-8).

Dekodowanie dowolnego wejścia binarnego na UTF-8 jest niebezpieczne, ponieważ możesz otrzymać:

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

To samo dotyczy latin-1, który był popularny (domyślny?) W Pythonie 2. Zobacz brakujące punkty w Układzie strony kodowej - to tam Python dusi się z niesławą ordinal not in range.

AKTUALIZACJA 20150604 : Istnieją pogłoski, że Python 3 ma surrogateescapestrategię błędów do kodowania danych w danych binarnych bez utraty danych i awarii, ale wymaga testów konwersji [binary] -> [str] -> [binary], aby sprawdzić zarówno wydajność, jak i niezawodność.

AKTUALIZACJA 20170116 : Dzięki komentarzowi Nearoo - istnieje również możliwość ukrycia ucieczki wszystkich nieznanych bajtów za pomocą backslashreplaceprocedury obsługi błędów. Działa to tylko w przypadku Python 3, więc nawet z tym obejściem nadal będziesz otrzymywać niespójne dane wyjściowe z różnych wersji Python:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

Aby uzyskać szczegółowe informacje, zobacz Obsługa Unicode w języku Python .

AKTUALIZACJA 20170119 : Postanowiłem zaimplementować ukośnik uciekający, który działa zarówno dla Pythona 2, jak i dla Pythona 3. Powinno być wolniejsze niż cp437rozwiązanie, ale powinno dawać identyczne wyniki dla każdej wersji Pythona.

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

W Pythonie 3 domyślnym kodowaniem jest "utf-8", więc możesz bezpośrednio użyć:

b'hello'.decode()

co jest równoważne z

b'hello'.decode(encoding="utf-8")

Z drugiej strony, w Pythonie 2 , kodowanie jest domyślnie ustawione na domyślne kodowanie ciągu. Dlatego powinieneś użyć:

b'hello'.decode(encoding)

gdzie encodingjest kodowanie, które chcesz.

Uwaga: obsługa argumentów słów kluczowych została dodana w Pythonie 2.7.

Myślę, że tak naprawdę chcesz:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

Odpowiedź Aarona była poprawna, z tym wyjątkiem, że musisz wiedzieć, jakiego kodowania użyć. I wierzę, że Windows używa „Windows-1252”. Będzie to miało znaczenie tylko wtedy, gdy będziesz zawierał nietypowe (spoza ASCII) znaki w treści, ale wtedy coś zmieni.

Nawiasem mówiąc, fakt, że ma to znaczenie, jest powodem, dla którego Python przeszedł na używanie dwóch różnych typów danych binarnych i tekstowych: nie może konwertować magicznie między nimi, ponieważ nie zna kodowania, chyba że to powiesz! Jedyny sposób, w jaki MUSISZ wiedzieć, to przeczytać dokumentację Windows (lub przeczytać tutaj).

Ustaw universal_newlines na True, tj

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]

Podczas gdy odpowiedź @Aaron Maenpaa po prostu działa, użytkownik niedawno zapytał :

Czy jest jakiś prostszy sposób? „fhand.read (). decode („ ASCII ”)” [...] Jest tak długo!

Możesz użyć:

command_stdout.decode()

decode()ma standardowy argument :

codecs.decode(obj, encoding='utf-8', errors='strict')

Aby zinterpretować sekwencję bajtów jako tekst, musisz znać odpowiednie kodowanie znaków:

unicode_text = bytestring.decode(character_encoding)

Przykład:

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

lspolecenie może generować dane wyjściowe, których nie można interpretować jako tekstu. Nazwy plików w Uniksie mogą być dowolną sekwencją bajtów oprócz ukośnika b'/'i zera b'\0':

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

Próba odkodowania takiej bajtowej zupy przy użyciu kodowania utf-8 podnosi UnicodeDecodeError.

Może być gorzej. Dekodowanie może się nie powieść po cichu i spowodować mojibake, jeśli użyjesz niewłaściwego niekompatybilnego kodowania:

>>> '—'.encode('utf-8').decode('cp1252')
'—'

Dane są uszkodzone, ale Twój program nie jest świadomy wystąpienia awarii.

Ogólnie, jakie kodowanie znaków do użycia nie jest osadzone w samej sekwencji bajtów. Musisz przekazać te informacje poza pasmem. Niektóre wyniki są bardziej prawdopodobne niż inne, dlatego chardetistnieje moduł, który może odgadnąć kodowanie znaków. Pojedynczy skrypt w języku Python może wykorzystywać kodowanie wielu znaków w różnych miejscach.

lsdane wyjściowe można przekonwertować na ciąg znaków w języku Python przy użyciu os.fsdecode() funkcji, która działa nawet w przypadku niezdefiniowanych nazw plików (używa sys.getfilesystemencoding()i surrogateescapeobsługi błędów w systemie Unix):

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

Aby uzyskać oryginalne bajty, możesz użyć os.fsencode().

Jeśli podasz universal_newlines=Trueparametr, a następnie subprocessużyje go locale.getpreferredencoding(False)do zdekodowania bajtów, np. Może to być cp1252system Windows.

Do dekodowania strumienia bajtów w locie io.TextIOWrapper() można użyć: przykład .

Różne polecenia mogą używać różnych kodowań znaków dla swoich danych wyjściowych, np. dirPolecenie wewnętrzne ( cmd) może używać cp437. Aby zdekodować jego dane wyjściowe, możesz przekazać kodowanie jawnie (Python 3.6+):

output = subprocess.check_output('dir', shell=True, encoding='cp437')

Nazwy plików mogą różnić się od os.listdir()(który używa Windows Unicode API), np. '\xb6'Można je zastąpić '\x14'mapami koderów-cp437 firmy Python w b'\x14'celu sterowania znakiem U + 0014 zamiast U + 00B6 (¶). Aby obsługiwać nazwy plików z dowolnymi znakami Unicode, zobacz Dekodowanie danych wyjściowych PowerShell, które mogą zawierać znaki Unicode inne niż ASCII do ciągu znaków w języku Python

Ponieważ to pytanie faktycznie dotyczy subprocessdanych wyjściowych, dostępne jest bardziej bezpośrednie podejście, ponieważ Popenakceptuje słowo kluczowe kodujące (w Python 3.6+):

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

Ogólna odpowiedź dla innych użytkowników to dekodowanie bajtów na tekst:

>>> b'abcde'.decode()
'abcde'

Bez argumentu sys.getdefaultencoding()zostaną użyte. Jeśli Twoje dane nie są sys.getdefaultencoding(), musisz jawnie określić kodowanie w decodewywołaniu:

>>> b'caf\xe9'.decode('cp1250')
'café'

Jeśli powinieneś uzyskać następujące informacje, próbując decode():

AttributeError: obiekt „str” nie ma atrybutu „dekodowania”

Możesz także określić typ kodowania bezpośrednio w obsadzie:

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'

Podczas pracy z danymi z systemów Windows (z \r\nzakończeniami linii) moja odpowiedź brzmi

String = Bytes.decode("utf-8").replace("\r\n", "\n")

Dlaczego? Wypróbuj to z multiline Input.txt:

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

Wszystkie zakończenia linii zostaną podwojone (do \r\r\n), co spowoduje dodatkowe puste linie. Funkcje odczytywania tekstu w Pythonie zwykle normalizują zakończenia linii, dzięki czemu używane są tylko łańcuchy \n. Jeśli otrzymujesz dane binarne z systemu Windows, Python nie ma na to szans. A zatem,

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

skopiuje twój oryginalny plik.

Zrobiłem funkcję czyszczenia listy

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista

Dla Python 3, jest to o wiele bezpieczniejsze i pythonowy podejście przekonwertować z bytedo string:

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): # Check if it's in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

Wynik:

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Z sys - parametry i funkcje specyficzne dla systemu :

Aby zapisać lub odczytać dane binarne ze / do standardowych strumieni, użyj bazowego bufora binarnego. Na przykład, aby zapisać bajty na standardowe wyjście, użyj sys.stdout.buffer.write(b'abc').

def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))

W konkretnym przypadku „uruchom polecenie powłoki i uzyskaj jego wynik jako tekst zamiast bajtów”, w Pythonie 3.7 powinieneś użyć subprocess.runi przekazać text=True(oraz capture_output=Trueprzechwycić dane wyjściowe)

command_result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
command_result.stdout  # is a `str` containing your program's stdout

textbył wywoływany universal_newlinesi był zmieniany (no cóż, alias) w Pythonie 3.7. Jeśli chcesz obsługiwać wersje Python starsze niż 3.7, podaj universal_newlines=Truezamiasttext=True

Jeśli chcesz przekonwertować dowolne bajty, nie tylko ciąg znaków przekonwertowany na bajty:

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

Nie jest to jednak zbyt wydajne. Zmieni obraz o wielkości 2 MB na 9 MB.

Spróbuj tego

bytes.fromhex('c3a9').decode('utf-8')