pandy pythonowe: Usuń duplikaty według kolumn A, zachowując wiersz o najwyższej wartości w kolumnie B.

Mam ramkę danych z powtarzającymi się wartościami w kolumnie A. Chcę usunąć duplikaty, zachowując wiersz z najwyższą wartością w kolumnie B.

Więc to:

A B
1 10
1 20
2 30
2 40
3 10

Powinien zmienić się w to:

A B
1 20
2 40
3 10

Wes dodał kilka fajnych funkcji do usuwania duplikatów: http://wesmckinney.com/blog/?p=340 . Ale AFAICT, jest przeznaczony do dokładnych duplikatów, więc nie ma wzmianki o kryteriach wyboru, które wiersze mają zostać zachowane.

Domyślam się, że prawdopodobnie istnieje łatwy sposób na zrobienie tego - może tak prosty jak posortowanie ramki danych przed usunięciem duplikatów - ale nie znam wewnętrznej logiki Groupby na tyle dobrze, aby to rozgryźć. Jakieś sugestie?

To trwa ostatnie. Jednak nie maksimum:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

Możesz też zrobić coś takiego:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

Najlepsza odpowiedź to za dużo pracy i wygląda na bardzo powolną w przypadku większych zbiorów danych. applyjest powolny i należy go unikać, jeśli to możliwe. ixjest przestarzały i należy go również unikać.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

Lub po prostu pogrupuj według wszystkich innych kolumn i wybierz maksimum z kolumny, której potrzebujesz. df.groupby('A', as_index=False).max()

Najprostsze rozwiązanie:

Aby usunąć duplikaty na podstawie jednej kolumny:

df = df.drop_duplicates('column_name', keep='last')

Aby usunąć duplikaty na podstawie wielu kolumn:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

Spróbuj tego:

df.groupby(['A']).max()

Najpierw posortowałbym ramkę danych w kolejności malejącej z kolumny B, a następnie upuścił duplikaty dla kolumny A i zostawiłbym jako pierwszy

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

bez żadnego groupby

Ty też możesz spróbować

df.drop_duplicates(subset='A', keep='last')

Odniosłem to z https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html

Myślę, że w twoim przypadku tak naprawdę nie potrzebujesz grupy. Sortuję według malejącej kolejności kolumny B, a następnie upuszczam duplikaty w kolumnie A, a jeśli chcesz, możesz również mieć nowy ładny i czysty indeks, taki jak ten:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

Oto wariacja, którą musiałem rozwiązać, którą warto udostępnić: dla każdego unikalnego ciągu columnAchciałem znaleźć najpopularniejszy powiązany ciąg columnB.

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

.any()Wybiera jedną czy jest remis dla trybu. (Zwróć uwagę, że użycie .any()serii ints zwraca wartość logiczną, a nie wybranie jednej z nich).

W przypadku pierwotnego pytania odpowiednie podejście upraszcza się do

df.groupby('columnA').columnB.agg('max').reset_index().

Gdy już podane posty odpowiadają na to pytanie, dokonałem małej zmiany dodając nazwę kolumny, na której zastosowano funkcję max () dla lepszej czytelności kodu.

df.groupby('A', as_index=False)['B'].max()

Najłatwiej to zrobić:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

to też działa:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

Nie mam zamiaru udzielić Ci całej odpowiedzi (i tak nie sądzę, że szukasz parsowania i zapisywania do pliku), ale powinna wystarczyć kluczowa wskazówka: użyj set()funkcji Pythona , a następnie sorted()lub w .sort()połączeniu z .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]