Co to jest __pycache__?

Z tego, co rozumiem, pamięć podręczna jest zaszyfrowanym plikiem podobnych plików.

Co robimy z __pycache__folderem? Czy to jest to, co dajemy ludziom zamiast naszego kodu źródłowego? Czy to tylko moje dane wejściowe? Ten folder jest ciągle tworzony, do czego służy?

Po uruchomieniu programu w Pythonie interpreter najpierw kompiluje go do kodu bajtowego (jest to uproszczenie) i zapisuje go w __pycache__folderze. Jeśli tam zajrzysz, w folderze projektu znajdziesz kilka plików o wspólnych nazwach plików .py, tylko ich rozszerzenia będą w formacie .pyc lub .pyo. Są to odpowiednio skompilowane przez kod bajtowy wersje plików programu.

Jako programista możesz w dużej mierze po prostu zignorować ... Wszystko, co robi, to przyspieszyć uruchomienie programu. Gdy skrypty się zmienią, zostaną one ponownie skompilowane, a jeśli usuniesz pliki lub cały folder i uruchomisz program ponownie, pojawią się ponownie (chyba że wyraźnie powstrzymasz to zachowanie)

Jeśli używasz cpython (który jest najczęstszy, ponieważ jest to implementacja referencyjna) i nie chcesz tego folderu, możesz go wyłączyć, uruchamiając na przykład interpreter z flagą -B

python -B foo.py

Inną opcją, jak zauważył tcaswell, jest ustawienie zmiennej środowiskowej PYTHONDONTWRITEBYTECODEna dowolną wartość (zgodnie ze stroną podręcznika Pythona, dowolny „niepusty ciąg”).

__pycache__to folder zawierający kod bajtowy Pythona 3 skompilowany i gotowy do uruchomienia .

Nie polecam rutynowego usuwania tych plików lub tłumienia tworzenia podczas programowania, ponieważ może to obniżyć wydajność. Po prostu przygotuj komendę rekurencyjną (patrz poniżej), aby wyczyścić ją w razie potrzeby, ponieważ kod bajtowy może stać się przestarzały w przypadkach na krawędzi (patrz komentarze).

Programiści Python zwykle ignorują kod bajtowy. Rzeczywiście __pycache__i *.pycsą to wspólne linie do zobaczenia w .gitignoreplikach. Kod bajtowy nie jest przeznaczony do dystrybucji i można go zdemontować za pomocą dismodułu .

Jeśli korzystasz z systemu OS X, możesz łatwo ukryć wszystkie te foldery w projekcie, uruchamiając następujące polecenie z folderu głównego projektu.

find . -name '__pycache__' -exec chflags hidden {} \;

Wymień __pycache__się *.pycdla Pythona 2.

Ustawia to flagę we wszystkich tych katalogach (plikach .pyc), informując Finder / Textmate 2 o wykluczeniu ich z listy. Co ważne, kod bajtowy jest tam ukryty.

Uruchom ponownie polecenie, jeśli tworzysz nowe moduły i chcesz ukryć nowy kod bajtowy lub jeśli usuwasz ukryte pliki kodu bajtowego.

W systemie Windows równoważne polecenie może być (nie testowane, mile widziane skrypty wsadowe):

dir * /s/b | findstr __pycache__ | attrib +h +s +r

To samo, co przeglądanie folderów projektu za pomocą kliknięcia prawym przyciskiem myszy> ukryj ...

Przeprowadzanie testów jednostkowych to jeden scenariusz (więcej w komentarzach), w którym usuwanie *.pycplików i __pycache__folderów jest rzeczywiście przydatne. Używam następujących wierszy ~/.bash_profilei po prostu biegam, claby wyczyścić w razie potrzeby.

alias cpy='find . -name "__pycache__" -delete'
alias cpc='find . -name "*.pyc"       -delete'
...
alias cl='cpy && cpc && ...'

__pycache__Folder jest tworzony podczas korzystania z linii:

import file_name

lub spróbuj uzyskać informacje z innego utworzonego pliku. To sprawia, że ​​przy drugim uruchomieniu programu drugi plik jest nieco szybszy.

Zaktualizowana odpowiedź z dokumentów w wersji 3.7+:

Aby przyspieszyć ładowanie modułów, Python buforuje skompilowaną wersję każdego modułu w __pycache__katalogu pod nazwą module.version.pyc, gdzie wersja koduje format skompilowanego pliku; ogólnie zawiera numer wersji Pythona. Na przykład w CPython wydanie 3.3 skompilowana wersja spam.py będzie buforowana jako __pycache__/spam.cpython-33.pyc. Ta konwencja nazewnictwa pozwala na współistnienie skompilowanych modułów z różnych wydań i różnych wersji Pythona.

Źródło: https://docs.python.org/3/tutorial/modules.html#compiled-python-files

Oznacza to, że ten katalog jest generowany przez Python i istnieje, aby przyspieszyć działanie programów. Nie powinien być zaangażowany w kontrolę źródła i powinien współistnieć w zgodzie z lokalnym kodem źródłowym.

__pycache__to katalog zawierający pliki pamięci podręcznej kodu bajtowego, które są automatycznie generowane przez python, a mianowicie skompilowane .pycpliki python lub . Być może zastanawiasz się, dlaczego Python, język „interpretowany”, ma w ogóle jakieś skompilowane pliki. To SO pytanie dotyczy (i zdecydowanie warto przeczytać tę odpowiedź ).

Dokumenty Pythona są bardziej szczegółowe na temat tego, jak to działa i dlaczego istnieje:

• Został on dodany w Pythonie 3.2, ponieważ istniejący system utrzymywania .pycplików w tym samym katalogu powodował różne problemy, na przykład podczas uruchamiania programu z interpreterami Pythona różnych wersji. Aby uzyskać pełną specyfikację funkcji, zobacz PEP 3174 .

z oficjalnego tutoriala Python Moduły

Aby przyspieszyć ładowanie modułów, Python buforuje skompilowaną wersję każdego modułu w __pycache__katalogu pod nazwą module.version.pyc, gdzie wersja koduje format skompilowanego pliku; ogólnie zawiera numer wersji Pythona. Na przykład w CPython wersja 3.6 skompilowana wersja spam.py będzie buforowana jako __pycache__/spam.cpython-36.pyc.

z Python doc Często zadawane pytania dotyczące programowania

Gdy moduł jest importowany po raz pierwszy (lub gdy plik źródłowy zmienił się od czasu utworzenia bieżącego pliku skompilowanego), plik pyc zawierający skompilowany kod powinien zostać utworzony w __pycache__podkatalogu katalogu zawierającego .pyplik. .pycPlik będzie miał nazwę pliku, który zaczyna się o tej samej nazwie co .pyplik, a kończy się .pyc, ze środkowego elementu, który zależy od konkretnego Pythona binarny, który go stworzył.

Wykonanie skryptu python spowodowałoby wygenerowanie kodu bajtowego w pamięci i zachowanie go do momentu zamknięcia programu. W przypadku importu modułu, w celu szybszego ponownego użycia, Python utworzy plik .pyc pamięci podręcznej (PYC to „skompilowana” wersja „Pythona”), w której buforowany jest kod bajtu importowanego modułu. Chodzi o to, aby przyspieszyć ładowanie modułów Pythona, unikając ponownej kompilacji (kompiluj raz, uruchamiaj zasady wielokrotnie) podczas ich ponownego importowania.

Nazwa pliku jest taka sama jak nazwa modułu. Część po początkowej kropce wskazuje implementację Pythona, która utworzyła pamięć podręczną (może to być CPython), a następnie jej numer wersji.

Interpreter Pythona kompiluje plik skryptu * .py i zapisuje wyniki kompilacji w __pycache__katalogu.

Gdy projekt zostanie ponownie wykonany, jeśli interpreter stwierdzi, że skrypt * .py nie został zmodyfikowany, pomija krok kompilacji i uruchamia wcześniej wygenerowany plik * .pyc zapisany w __pycache__folderze.

Gdy projekt jest złożony, możesz skrócić czas przygotowania do uruchomienia projektu. Jeśli program jest zbyt mała, można zignorować, że korzystając python -B abc.pyz tej Bopcji.

Python w wersji 2.x będzie miał .pyc, gdy interpreter skompiluje kod.

Python w wersji 3.x będzie miał __pycache__, gdy interpreter skompiluje kod.

alok@alok:~$ ls
module.py  module.pyc  __pycache__  test.py
alok@alok:~$

W wersji 3.2 i nowszych Python zapisuje skompilowane pliki kodu bajtowego .pyc w podkatalogu o nazwie __pycache__zlokalizowanym w katalogu, w którym znajdują się pliki źródłowe, z nazwami plików, które identyfikują wersję Pythona, która je utworzyła (np. Script.cpython-33.pyc)

Po zaimportowaniu modułu ,

import file_name

Python przechowuje skompilowany kod bajtowy w __pycache__katalogu, aby przyszłe importy mogły z niego korzystać bezpośrednio, bez konieczności ponownego analizowania i kompilowania źródła.

Nie robi to tylko w celu uruchomienia skryptu, tylko podczas importowania pliku.

(Poprzednie wersje służyły do ​​przechowywania buforowanego kodu bajtowego jako plików .pyc, które zajmowały ten sam katalog co pliki .py, ale od wersji Python 3 zostały przeniesione do podkatalogu, aby uporządkować zawartość.)

PYTHONDONTWRITEBYTECODE ---> Jeśli jest ustawiony na niepusty ciąg, Python nie będzie próbował zapisywać plików .pyc podczas importu modułów źródłowych. Jest to równoważne z określeniem opcji -B.