Dataframe Pandy pobiera pierwszy wiersz każdej grupy

150

Mam pandy, które DataFramelubią podążać.

df = pd.DataFrame({'id' : [1,1,1,2,2,3,3,3,3,4,4,5,6,6,6,7,7],
                'value'  : ["first","second","second","first",
                            "second","first","third","fourth",
                            "fifth","second","fifth","first",
                            "first","second","third","fourth","fifth"]})

Chcę to pogrupować według [„id”, „value”] i uzyskać pierwszy wiersz każdej grupy.

        id   value
0        1   first
1        1  second
2        1  second
3        2   first
4        2  second
5        3   first
6        3   third
7        3  fourth
8        3   fifth
9        4  second
10       4   fifth
11       5   first
12       6   first
13       6  second
14       6   third
15       7  fourth
16       7   fifth

Spodziewany rezultat

    id   value
     1   first
     2   first
     3   first
     4  second
     5  first
     6  first
     7  fourth

Próbowałem podążać za tym, co daje tylko pierwszy wiersz DataFrame. Każda pomoc w tym zakresie jest mile widziana.

In [25]: for index, row in df.iterrows():
   ....:     df2 = pd.DataFrame(df.groupby(['id','value']).reset_index().ix[0])

python pandas dataframe

— Nilani Algiriyage
źródło

3

Zdaję sobie sprawę, że to pytanie jest dość stare, ale sugerowałbym przyjęcie odpowiedzi przez @vital_dml, ponieważ zachowanie w first()odniesieniu do nans jest bardzo zaskakujące i myślę, że większość ludzi się nie spodziewa.

— user545424

257

>>> df.groupby('id').first()
     value
id        
1    first
2    first
3    first
4   second
5    first
6    first
7   fourth

Jeśli potrzebujesz idjako kolumna:

>>> df.groupby('id').first().reset_index()
   id   value
0   1   first
1   2   first
2   3   first
3   4  second
4   5   first
5   6   first
6   7  fourth

Aby uzyskać n pierwszych rekordów, możesz użyć funkcji head ():

>>> df.groupby('id').head(2).reset_index(drop=True)
    id   value
0    1   first
1    1  second
2    2   first
3    2  second
4    3   first
5    3   third
6    4  second
7    4   fifth
8    5   first
9    6   first
10   6  second
11   7  fourth
12   7   fifth

— Roman Pekar
źródło

1

Wielkie dzięki! Zadziałało dobrze :) Nie można uzyskać drugiego rzędu w ten sam sposób, prawda? Czy możesz to po prostu wyjaśnić?

— Nilani Algiriyage

g = df.groupby (['sesja']) g.agg (lambda x: x.iloc [0]) to też działa, nie masz pojęcia o uzyskaniu drugiej wartości? :(

— Nilani Algiriyage

załóżmy, że licząc od góry chcesz uzyskać numer wiersza top_n, a następnie dx = df.groupby ('id'). head (top_n) .reset_index (drop = True) i przypuśćmy, że licząc od dołu chcesz uzyskać numer wiersza bottom_n, then dx = df.groupby ('id'). tail (bottom_n) .reset_index (drop = True)

— Quetzalcoatl

4

Jeśli chcesz mieć ostatnie n wierszy, użyj tail(n)(domyślnie n = 5) ( ref. ). Nie należy tego mylić last(), popełniłem ten błąd.

— rocarvaj

1

groupby('id',as_index=False)zachowuje się również idjako felieton

— Richard DiSalvo

55

To da ci drugi wiersz każdej grupy (indeksowany przez zero, n-ty (0) jest taki sam jak pierwszy ()):

df.groupby('id').nth(1)

Dokumentacja: http://pandas.pydata.org/pandas-docs/stable/groupby.html#taking-the-nth-row-of-each-group

— wij
źródło

9

Jeśli chcesz uzyskać wielokrotności, na przykład pierwsze trzy, użyj sekwencji, takiej jak nth((0,1,2))lub nth(range(3)).

— Ronan Paixão,

@ RonanPaixão: Jakoś kiedy podaję zasięg, wyrzuca błąd:TypeError: n needs to be an int or a list/set/tuple of ints

— Peaceful

@Peaceful: czy używasz Pythona 3? Jeśli tak, range(3)nie zwraca listy, chyba że wpiszesz list(range(3)).

— Ben

43

Sugerowałbym .nth(0)raczej użycie niż .first()jeśli potrzebujesz pierwszego rzędu.

Różnica między nimi polega na tym, jak radzą sobie z NaN, więc .nth(0)zwróci pierwszy wiersz grupy bez względu na wartości w tym wierszu, a .first()ostatecznie zwróci pierwszą wartość nie NaN w każdej kolumnie.

Np. Jeśli Twój zbiór danych to:

df = pd.DataFrame({'id' : [1,1,1,2,2,3,3,3,3,4,4],
            'value'  : ["first","second","third", np.NaN,
                        "second","first","second","third",
                        "fourth","first","second"]})

>>> df.groupby('id').nth(0)
    value
id        
1    first
2    NaN
3    first
4    first

I

>>> df.groupby('id').first()
    value
id        
1    first
2    second
3    first
4    first

— vital_dml
źródło

1

Słuszna uwaga. .head(1)wydaje się, że zachowuje się podobnie .nth(0), z wyjątkiem indeksu

— Richard DiSalvo

2

Inną różnicą jest to, że nth (0) zachowa oryginalny indeks (jeśli as_index = False), a first () nie. Kiedyś była to dla mnie znacząca różnica, ponieważ potrzebowałem samego indeksu.

— Oleg O

8

Jeśli potrzebujesz tylko pierwszego wiersza z każdej grupy, z którą możemy zrobić drop_duplicates, zwróć uwagę na domyślną metodę funkcji keep='first'.

df.drop_duplicates('id')
Out[1027]: 
    id   value
0    1   first
3    2   first
5    3   first
9    4  second
11   5   first
12   6   first
15   7  fourth

— BEN_YO
źródło

7

może tego chcesz

import pandas as pd
idx = pd.MultiIndex.from_product([['state1','state2'],   ['county1','county2','county3','county4']])
df = pd.DataFrame({'pop': [12,15,65,42,78,67,55,31]}, index=idx)

                pop
state1 county1   12
       county2   15
       county3   65
       county4   42
state2 county1   78
       county2   67
       county3   55
       county4   31

df.groupby(level=0, group_keys=False).apply(lambda x: x.sort_values('pop', ascending=False)).groupby(level=0).head(3)

> Out[29]: 
                pop
state1 county3   65
       county4   42
       county2   15
state2 county1   78
       county2   67
       county3   55

— Siraj S.
źródło