ValueError: Dane wejściowe zawierają NaN, nieskończoność lub wartość zbyt dużą dla dtype („float32”)

Dostałem ValueError podczas przewidywania danych testowych przy użyciu modelu RandomForest.

Mój kod:

clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2)
clf.fit(X_fit, y_fit)

df_test.fillna(df_test.mean())
X_test = df_test.values  
y_pred = clf.predict(X_test)

Błąd:

ValueError: Input contains NaN, infinity or a value too large for dtype('float32').

Jak znaleźć złe wartości w zestawie danych testowych? Ponadto nie chcę upuszczać tych rekordów, czy mogę je po prostu zastąpić średnią lub medianą?

Dzięki.

Po np.isnan(X)odzyskaniu maski logicznej z wartością True dla pozycji zawierających NaNs.

Gdy np.where(np.isnan(X))wrócisz krotkę ze współrzędnymi NaNs , j .

Wreszcie, z np.nan_to_num(X)tobą „zamień nan na zero i inf na skończone liczby”.

Alternatywnie możesz użyć:

• sklearn.impute.SimpleImputer dla średniej / mediany imputacji brakujących wartości, lub
• pandy ” pd.DataFrame(X).fillna(), jeśli potrzebujesz czegoś innego niż wypełnienie go zerami.

Zakładając, że X_testjest ramką danych pand, możesz użyć, DataFrame.fillnaaby zastąpić wartości NaN średnią:

X_test.fillna(X_test.mean())

Aby każdy mógł się z tym spotkać, aby faktycznie zmodyfikować oryginał:

X_test.fillna(X_train.mean(), inplace=True)

Aby zastąpić oryginał:

X_test = X_test.fillna(X_train.mean())

Aby sprawdzić, czy jesteś w kopii czy w widoku:

X_test._is_view

Nie zapomnij

col_mask=df.isnull().any(axis=0) 

Która zwraca maskę logiczną wskazującą np. Wartości.

row_mask=df.isnull().any(axis=1)

Które zwracają wiersze, w których pojawił się np.nan. Następnie przez proste indeksowanie możesz oflagować wszystkie swoje punkty, np. Nan.

df.loc[row_mask,col_mask]

Napotkałem podobny problem i widziałem, że numpy obsługuje NaN i Inf inaczej.
Incase, jeśli twoje dane mają Inf, spróbuj tego:

np.where(x.values >= np.finfo(np.float64).max)
Where x is my pandas Dataframe 

To da krotkę lokalizacji miejsc, w których obecne są wartości NA.

Podaj, jeśli twoje dane mają Nan, spróbuj tego:

np.isnan(x.values.any())

Nie zapomnij również sprawdzić wartości inf. Jedyne, co dla mnie zadziałało:

df[df==np.inf]=np.nan
df.fillna(df.mean(), inplace=True)

A nawet lepiej, jeśli używasz sklearn

def replace_missing_value(df, number_features):

    imputer = Imputer(strategy="median")
    df_num = df[number_features]
    imputer.fit(df_num)
    X = imputer.transform(df_num)
    res_def = pd.DataFrame(X, columns=df_num.columns)
    return res_def

Gdy liczba_funkcji będzie tablicą etykiet liczby_funkcji, na przykład:

number_features = ['median_income', 'gdp']

Oto kod, w jaki sposób „Zamień NaN na zero, a nieskończoność na duże liczby skończone”. using numpy.nan_to_num .

df[:] = np.nan_to_num(df)

Zobacz także odpowiedź Fernando .