Konwersja Django QuerySet do pandy DataFrame

Zamierzam przekonwertować zestaw Django QuerySet na pandy DataFramew następujący sposób:

qs = SomeModel.objects.select_related().filter(date__year=2012)
q = qs.values('date', 'OtherField')
df = pd.DataFrame.from_records(q)

Działa, ale czy istnieje bardziej efektywny sposób?

import pandas as pd
import datetime
from myapp.models import BlogPost

df = pd.DataFrame(list(BlogPost.objects.all().values()))
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values()))

# limit which fields
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug')))

Powyższe pokazuje, jak robię to samo. Najbardziej użytecznym dodatkiem jest określenie, które pola Cię interesują. Jeśli jest to tylko podzbiór dostępnych pól, którymi jesteś zainteresowany, to dałoby to wzrost wydajności, jak sobie wyobrażam.

Django Pandas rozwiązuje to dość dobrze: https://github.com/chrisdev/django-pandas/

Z README:

class MyModel(models.Model):
    full_name = models.CharField(max_length=25)
    age = models.IntegerField()
    department = models.CharField(max_length=3)
    wage = models.FloatField()

from django_pandas.io import read_frame
qs = MyModel.objects.all()
df = read_frame(qs)

Konwersja zestawu zapytań na values_list () będzie bardziej wydajna w pamięci niż bezpośrednio na wartości (). Ponieważ metoda values ​​() zwraca zestaw zapytań zawierający listę dict (pary klucz: wartość), lista_wartości () zwraca tylko listę krotek (czyste dane). Zaoszczędzi to około 50% pamięci, wystarczy ustawić informacje o kolumnie podczas wywoływania pd.DataFrame ().

Metoda 1:
    queryset = models.xxx.objects.values ​​(„A”, „B”, „C”, „D”)
    df = pd.DataFrame (list (queryset)) ## zużywa dużo pamięci
    #df = pd.DataFrame.from_records (queryset) ## działa, ale bez większych zmian w zużyciu pamięci

Metoda 2:
    queryset = models.xxx.objects.values_list („A”, „B”, „C”, „D”)
    df = pd.DataFrame (list (queryset), columns = ["A", "B", "C", "D"]) ## to zaoszczędzi 50% pamięci
    #df = pd.DataFrame.from_records (queryset, columns = [„A”, „B”, „C”, „D”]) ## To nie działa. Awaria z typem danych to queryset, a nie lista.

Przetestowałem to w moim projekcie z danymi> 1 miliona wierszy, pamięć szczytowa została zmniejszona z 2G do 1G.

Z perspektywy Django (nie jestem zaznajomiony pandas) to jest w porządku. Moim jedynym zmartwieniem jest to, że jeśli masz bardzo dużą liczbę rekordów, możesz napotkać problemy z pamięcią. Gdyby tak było, konieczne byłoby coś na wzór tego iteratora zestawu zapytań wydajnego pod względem pamięci . (Napisany fragment może wymagać przepisania, aby umożliwić inteligentne użycie .values()).

Możesz użyć model_to_dict

import datetime
from django.forms import model_to_dict
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs)
df.head()