Jak upuszczać wiersze Pandas DataFrame, których wartość w określonej kolumnie to NaN

Mam to DataFramei chcę tylko rekordy, których EPSkolumna nie jest NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... czyli coś w rodzaju df.drop(....)uzyskania tej wynikowej ramki danych:

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Jak mogę to zrobić?

Nie upuszczaj, po prostu weź wiersze, w których EPS nie jest NA:

df = df[df['EPS'].notna()]

To pytanie zostało już rozwiązane, ale ...

... rozważ także rozwiązanie zaproponowane przez Woutera w jego oryginalnym komentarzu . Możliwość obsługi brakujących danych, w tym dropna(), jest wbudowana w pandy jawnie. Oprócz potencjalnie lepszej wydajności niż robienie tego ręcznie, funkcje te zawierają również szereg opcji, które mogą być przydatne.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Istnieją również inne opcje (patrz dokumenty na http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html ), w tym usuwanie kolumn zamiast wierszy.

Bardzo przydatne!

Wiem, że już na nie odpowiedziano, ale tylko ze względu na czysto pandowe rozwiązanie tego konkretnego pytania, w przeciwieństwie do ogólnego opisu Amana (który był cudowny) i na wypadek, gdyby ktokolwiek zdarzył się na to:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Możesz użyć tego:

df.dropna(subset=['EPS'], how='all', inplace=True)

Najprostsze ze wszystkich rozwiązań:

filtered_df = df[df['EPS'].notnull()]

Powyższe rozwiązanie jest znacznie lepsze niż użycie np.isfinite ()

Możesz użyć metody dataframe notnull lub inverse of isnull lub numpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

Prosty i łatwy sposób

df.dropna(subset=['EPS'],inplace=True)

źródło: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

jeszcze inne rozwiązanie, które wykorzystuje fakt, że np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Inna wersja:

df[~df['EPS'].isna()]

W zestawach danych o dużej liczbie kolumn jeszcze lepiej jest zobaczyć, ile kolumn zawiera wartości null, a ile nie.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

Na przykład w mojej ramce danych zawierał 82 kolumny, z których 19 zawierało co najmniej jedną wartość null.

Ponadto możesz również automatycznie usuwać kolumny i wiersze w zależności od tego, która ma więcej wartości zerowych.
Oto kod, który robi to inteligentnie:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

Uwaga: powyższy kod usuwa wszystkie wartości zerowe. Jeśli chcesz mieć wartości zerowe, przetworz je wcześniej.

Można dodać, że „&” może być użyte do dodania dodatkowych warunków, np

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

Zauważ, że podczas oceny instrukcji pandy potrzebują nawiasów.

Z jakiegoś powodu żadna z wcześniej przesłanych odpowiedzi nie działała dla mnie. To podstawowe rozwiązanie:

df = df[df.EPS >= 0]

Chociaż oczywiście spowoduje to również upuszczenie wierszy z liczbami ujemnymi. Więc jeśli chcesz tych, prawdopodobnie warto też dodać to później.

df = df[df.EPS <= 0]

Jednym z rozwiązań może być

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

Innym sposobem może być

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

Mam nadzieję, że są one przydatne.