Który profiler pamięci Python jest zalecany? [Zamknięte]

Chcę poznać wykorzystanie pamięci przez moją aplikację Python, a konkretnie chcę wiedzieć, które bloki / części kodu lub obiekty zużywają najwięcej pamięci. Wyszukiwarka Google pokazuje, że komercyjnym jest Python Memory Validator (tylko Windows).

A te open source to PySizer i Heapy .

Nie próbowałem nikogo, więc chciałem wiedzieć, który jest najlepszy, biorąc pod uwagę:

1. Podaje większość szczegółów.

2. Muszę wprowadzać lub nie wprowadzać żadnych zmian w kodzie.

Heapy jest dość prosty w użyciu. W pewnym momencie kodu musisz napisać:

from guppy import hpy
h = hpy()
print(h.heap())

Daje to trochę takich wyników:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

Możesz również dowiedzieć się, skąd się odwołują obiekty i uzyskać statystyki na ten temat, ale dokumenty na ten temat są nieco rzadkie.

Istnieje również przeglądarka graficzna napisana w Tk.

Ponieważ nikt o tym nie wspominał, wskażę mój moduł memory_profiler, który jest w stanie drukować raport liniowy po zużyciu pamięci i działa na systemach Unix i Windows (na tym ostatnim wymaga psutil). Dane wyjściowe nie są bardzo szczegółowe, ale ich celem jest przegląd sytuacji, w której kod zużywa więcej pamięci, a nie wyczerpująca analiza przydzielonych obiektów.

Po udekorowaniu funkcji @profilei uruchomieniu kodu z -m memory_profilerflagą, wydrukuje on raport wiersz po wierszu w następujący sposób:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

Polecam Dowser . Jest bardzo łatwy w konfiguracji i nie wymaga żadnych zmian w kodzie. Możesz przeglądać liczbę obiektów każdego typu w czasie, przeglądać listę obiektów aktywnych, przeglądać odniesienia do obiektów aktywnych, wszystko z prostego interfejsu internetowego.

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

Importujesz memdebug i wywołujesz memdebug.start. To wszystko.

Nie próbowałem PySizer ani Heapy. Byłbym wdzięczny za recenzje innych.

AKTUALIZACJA

Powyższy kod jest CherryPy 2.X, metoda została usunięta i nie bierze flagę. Więc jeśli używaszCherryPy 3.Xserver.quickstartengine.startblockingCherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

Rozważmy bibliotekę objgraph (patrzhttp://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks na przykładowy przypadek użycia).

Muppy to (jeszcze jeden) Profiler wykorzystania pamięci dla Pythona. Ten zestaw narzędzi koncentruje się na identyfikacji wycieków pamięci.

Muppy stara się pomóc programistom w wykrywaniu wycieków pamięci Python w aplikacjach. Umożliwia śledzenie zużycia pamięci podczas działania i identyfikację przeciekających obiektów. Dodatkowo dostarczane są narzędzia, które pozwalają zlokalizować źródło nie zwolnionych obiektów.

Tworzę profiler pamięci dla Pythona o nazwie memprof:

http://jmdana.github.io/memprof/

Umożliwia rejestrowanie i wykreślanie zużycia pamięci przez zmienne podczas wykonywania udekorowanych metod. Musisz tylko zaimportować bibliotekę, używając:

from memprof import memprof

I udekoruj swoją metodę za pomocą:

@memprof

To jest przykład tego, jak wyglądają wykresy:

Projekt jest hostowany w GitHub:

https://github.com/jmdana/memprof

Odkryłem, że meliae są znacznie bardziej funkcjonalne niż Heapy lub PySizer. Jeśli zdarzyło Ci się uruchamiać aplikację internetową WSGI, to Dozer to fajne opakowanie oprogramowania pośredniego programu Dowser

Wypróbuj również projekt pytracemalloc, który zapewnia użycie pamięci dla numeru linii w Pythonie.

EDYCJA (2014/04): Ma teraz GUI Qt do analizy migawek.