Jak zaimplementować „in” i „not in” dla pand DataFrame?
Pandy oferują dwie metody: Series.isin
iDataFrame.isin
dla serii i DataFrames, odpowiednio.
Filtruj ramkę danych na podstawie JEDNEJ kolumny (dotyczy również serii)
Najczęstszym scenariuszem jest zastosowanie isin
warunku do określonej kolumny w celu filtrowania wierszy w ramce danych.
df = pd.DataFrame({'countries': ['US', 'UK', 'Germany', np.nan, 'China']})
df
countries
0 US
1 UK
2 Germany
3 China
c1 = ['UK', 'China'] # list
c2 = {'Germany'} # set
c3 = pd.Series(['China', 'US']) # Series
c4 = np.array(['US', 'UK']) # array
Series.isin
akceptuje różne typy jako dane wejściowe. Poniżej przedstawiono wszystkie ważne sposoby uzyskania tego, co chcesz:
df['countries'].isin(c1)
0 False
1 True
2 False
3 False
4 True
Name: countries, dtype: bool
# `in` operation
df[df['countries'].isin(c1)]
countries
1 UK
4 China
# `not in` operation
df[~df['countries'].isin(c1)]
countries
0 US
2 Germany
3 NaN
# Filter with `set` (tuples work too)
df[df['countries'].isin(c2)]
countries
2 Germany
# Filter with another Series
df[df['countries'].isin(c3)]
countries
0 US
4 China
# Filter with array
df[df['countries'].isin(c4)]
countries
0 US
1 UK
Filtruj według WIELU kolumn
Czasami warto zastosować kontrolę członkostwa „w” z kilkoma wyszukiwanymi hasłami w wielu kolumnach,
df2 = pd.DataFrame({
'A': ['x', 'y', 'z', 'q'], 'B': ['w', 'a', np.nan, 'x'], 'C': np.arange(4)})
df2
A B C
0 x w 0
1 y a 1
2 z NaN 2
3 q x 3
c1 = ['x', 'w', 'p']
Aby zastosować isin
warunek do obu kolumn „A” i „B”, użyj DataFrame.isin
:
df2[['A', 'B']].isin(c1)
A B
0 True True
1 False False
2 False False
3 False True
Z tego, aby zachować wiersze, w których znajduje się co najmniej jedna kolumnaTrue
, możemy użyć any
wzdłuż pierwszej osi:
df2[['A', 'B']].isin(c1).any(axis=1)
0 True
1 False
2 False
3 True
dtype: bool
df2[df2[['A', 'B']].isin(c1).any(axis=1)]
A B C
0 x w 0
3 q x 3
Pamiętaj, że jeśli chcesz przeszukać każdą kolumnę, po prostu pomiń krok wyboru kolumny i zrób to
df2.isin(c1).any(axis=1)
Podobnie, aby zachować wiersze, w których znajdują się WSZYSTKIE kolumnyTrue
, użyj ich all
w taki sam sposób jak poprzednio.
df2[df2[['A', 'B']].isin(c1).all(axis=1)]
A B C
0 x w 0
Godne uwagi jest mowa o: numpy.isin
, query
, listowych (ciąg danych)
Oprócz metod opisanych powyżej, można również użyć odpowiednik numpy: numpy.isin
.
# `in` operation
df[np.isin(df['countries'], c1)]
countries
1 UK
4 China
# `not in` operation
df[np.isin(df['countries'], c1, invert=True)]
countries
0 US
2 Germany
3 NaN
Dlaczego warto to rozważyć? Funkcje NumPy są zwykle nieco szybsze niż ich odpowiedniki pandy z powodu niższego obciążenia. Ponieważ jest to operacja elementarna, która nie zależy od wyrównania indeksu, jest bardzo niewiele sytuacji, w których ta metoda nie jest odpowiednim zamiennikiem pandisin
.
Procedury pand są zwykle iteracyjne podczas pracy z łańcuchami, ponieważ operacje na łańcuchach są trudne do wektoryzacji. Istnieje wiele dowodów sugerujących, że zrozumienie listy będzie tutaj szybsze. . Teraz uciekamy się do in
czeku.
c1_set = set(c1) # Using `in` with `sets` is a constant time operation...
# This doesn't matter for pandas because the implementation differs.
# `in` operation
df[[x in c1_set for x in df['countries']]]
countries
1 UK
4 China
# `not in` operation
df[[x not in c1_set for x in df['countries']]]
countries
0 US
2 Germany
3 NaN
Jednak określenie tego jest nieporęczne, więc nie używaj go, chyba że wiesz, co robisz.
Wreszcie, istnieje również DataFrame.query
została pokryta w tej odpowiedzi . numexpr FTW!