Pandy uzyskują najwyższe n rekordów w każdej grupie


162

Załóżmy, że mam pandy DataFrame w ten sposób:

>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
   id  value
0   1      1
1   1      2
2   1      3
3   2      1
4   2      2
5   2      3
6   2      4
7   3      1
8   4      1

Chcę uzyskać nową ramkę DataFrame z 2 najlepszymi rekordami dla każdego identyfikatora, na przykład:

   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

Mogę to zrobić z numeracją rekordów w ramach grupy po grupie:

>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
   id  level_1  index  value
0   1        0      0      1
1   1        1      1      2
2   1        2      2      3
3   2        0      3      1
4   2        1      4      2
5   2        2      5      3
6   2        3      6      4
7   3        0      7      1
8   4        0      8      1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

Ale czy istnieje bardziej efektywne / eleganckie podejście do tego? Jest też bardziej eleganckie podejście do rekordów liczbowych w każdej grupie (jak funkcja okna SQL numer_wiersza () ).



1
„Top-n” nie oznacza „n najwyższych / pierwszych / głównych rzędów”, tak jak szukasz! Oznacza to „n wierszy o największych wartościach”.
smci

Odpowiedzi:


183

Próbowałeś df.groupby('id').head(2)

Wygenerowano Ouput:

>>> df.groupby('id').head(2)
       id  value
id             
1  0   1      1
   1   1      2 
2  3   2      1
   4   2      2
3  7   3      1
4  8   4      1

(Pamiętaj, że może być konieczne wcześniejsze uporządkowanie / posortowanie, w zależności od danych)

EDYCJA: Jak wspomniała df.groupby('id').head(2).reset_index(drop=True)osoba pytająca , użyj, aby usunąć multindeks i spłaszczyć wyniki.

>>> df.groupby('id').head(2).reset_index(drop=True)
    id  value
0   1      1
1   1      2
2   2      1
3   2      2
4   3      1
5   4      1

1
Tak, myślę, że to wszystko. Jakoś to przeoczyłem. Czy znasz dobry sposób numerowania rekordów w grupie?
Roman Pekar

4
Aby uzyskać wynik, którego potrzebuję, dodałem również.reset_index(drop=True)
Roman Pekar

1
github.com/pydata/pandas/pull/5510 został właśnie włączony; będzie w wersji 0.13, nowa metoda dokładnie to nazywa się cumcount(ponumeruj rekordy w każdej grupie)
Jeff

1
@Jeff dobra wiadomość. Żałuję, że nie mam więcej czasu, aby przyczynić się do Pandy :(
Roman Pekar

3
Aby @dorvak uczynił swoją odpowiedź bardziej kompletną, jeśli chcesz mieć 2 najmniejsze wartości na, idzrób df.sort_values(['id', 'value'], axis=0).groupby('id').head(2). Inny przykład, największą wartość na idpodaje df.sort_values(['id', 'value'], axis=0).groupby('id').tail(1).
Elmex80s

132

Od wersji 0.14.1 możesz teraz wykonywać nlargesti nsmallestna groupbyobiekcie:

In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]: 
id   
1   2    3
    1    2
2   6    4
    5    3
3   7    1
4   8    1
dtype: int64

Jest niewielki niesamowitość, że masz oryginalny indeks również tam, ale to może być bardzo przydatne w zależności od tego, co oryginalny wskaźnik był .

Jeśli nie jesteś tym zainteresowany, możesz to zrobić .reset_index(level=1, drop=True) się go całkowicie pozbyć.

(Uwaga: od 0.17.1 będziesz mógł to zrobić również w DataFrameGroupBy, ale na razie działa tylko z Seriesi SeriesGroupBy.)


Jest sposób, żeby się dostać unique_limit(n)? Jak chcę, aby pierwsze n unikalnych wartości? Jeśli o to poproszę nlargest, posortuję cały df, który może być drogi
citynorman

2
To nie działa w przypadkach, gdy wykonujesz agregację w grupie? Na przykład, df.groupby([pd.Grouper(freq='M'), 'A'])['B'].count().nlargest(5, 'B') To po prostu zwraca ogólną
piątkę

Stwierdzenie, że jest to teraz możliwe również w przypadku DataFrameGroupBys, wydaje się fałszywe, połączone żądanie ściągnięcia wydaje się dodawać tylko nlargestdo prostych DataFrames. Co jest raczej niefortunne, bo co jeśli chcesz zaznaczyć więcej niż jedną kolumnę?
oulenz

7

Czasami sortowanie wszystkich danych z wyprzedzeniem jest bardzo czasochłonne. Możemy najpierw grupować i robić topki dla każdej grupy:

g = df.groupby(['id']).apply(lambda x: x.nlargest(topk,['value'])).reset_index(drop=True)
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.