Jaka jest różnica między NaN i None?

Czytam dwie kolumny pliku csv za pomocą pand, readcsv()a następnie przypisuję wartości do słownika. Kolumny zawierają ciągi cyfr i liter. Czasami zdarzają się przypadki, gdy komórka jest pusta. Moim zdaniem wartość odczytywana dla tego hasła w słowniku powinna być, Noneale zamiast tego nanjest przypisywana. Z pewnością Nonejest bardziej opisowy dla pustej komórki, ponieważ ma wartość null, podczas gdy nanpo prostu mówi, że odczytana wartość nie jest liczbą.

Czy moje rozumienie jest prawidłowe, jaka JEST różnica między Nonei nan? Dlaczego jest nanprzypisany zamiast None?

Ponadto, mój słownik sprawdzania pustych komórek używał numpy.isnan():

for k, v in my_dict.iteritems():
    if np.isnan(v):

Ale to daje mi błąd mówiąc, że nie mogę użyć tego czeku v. Wydaje mi się, że dzieje się tak dlatego, że ma być używana zmienna całkowita lub zmiennoprzecinkowa, a nie ciąg. Jeśli to prawda, jak mogę sprawdzić, czy nie vma „pustej komórki” / nanprzypadku?

NaN jest używany jako symbol zastępczy dla brakujących danych konsekwentnie w pandach , spójność jest dobra. Zwykle czytam / tłumaczę NaN jako „brakujący” . Zobacz także sekcję „Praca z brakującymi danymi” w dokumentacji.

Wes pisze w dokumencie „Wybór reprezentacji NA” :

Po latach używania [NaN] okazało się, przynajmniej moim zdaniem, najlepszą decyzją, biorąc pod uwagę ogólny stan rzeczy w NumPy i Pythonie. Szczególna wartość NaN (Not-A-Number) jest stosowany wszędzie jako wartość NA, i istnieją funkcje API isnulli notnullktóre mogą być wykorzystywane w poprzek dtypes wykryć wartości nA.
...
W związku z tym wybrałem podejście Pythonic „praktyczność przewyższa czystość” i wymieniłem zdolność NA liczb całkowitych, aby uzyskać znacznie prostsze podejście polegające na użyciu specjalnej wartości w tablicach zmiennoprzecinkowych i obiektowych do oznaczania NA oraz promowaniu tablic całkowitych na zmienne, gdy NA muszą być wprowadzone.

Uwaga: „gotcha”, że seria liczb całkowitych zawierająca brakujące dane jest przesyłana do postaci zmiennoprzecinkowej .

Moim zdaniem głównym powodem używania NaN (zamiast None) jest to, że można go przechowywać z typem numpy float64, a nie mniej wydajnym typem obiektu, patrz promocje typu NA .

#  without forcing dtype it changes None to NaN!
s_bad = pd.Series([1, None], dtype=object)
s_good = pd.Series([1, np.nan])

In [13]: s_bad.dtype
Out[13]: dtype('O')

In [14]: s_good.dtype
Out[14]: dtype('float64')

Jeff komentuje to (poniżej):

np.nanpozwala na operacje wektoryzowane; jego wartość zmiennoprzecinkowa, podczas gdy Nonez definicji wymusza typ obiektu, co w zasadzie wyłącza całą wydajność w numpy.

Więc powtórz szybko 3 razy: object == bad, float == good

Mówiąc to, wiele operacji może nadal działać równie dobrze z None i NaN (ale być może nie są obsługiwane, tj. Czasami mogą dawać zaskakujące wyniki ):

In [15]: s_bad.sum()
Out[15]: 1

In [16]: s_good.sum()
Out[16]: 1.0

Aby odpowiedzieć na drugie pytanie:
należy używać pd.isnulli pd.notnullsprawdzać brakujące dane (NaN).

NaNmoże być używany jako wartość liczbowa w operacjach matematycznych, podczas gdy Nonenie może (a przynajmniej nie powinien).

NaNjest wartością liczbową zdefiniowaną w standardzie zmiennoprzecinkowym IEEE 754 . Nonejest wewnętrznym typem Pythona ( NoneType) i w tym kontekście bardziej przypomina „nieistniejący” lub „pusty” niż „niepoprawny numerycznie”.

Głównym "symptomem" tego jest to, że jeśli wykonasz, powiedzmy, średnią lub sumę na tablicy zawierającej NaN, nawet pojedynczej, otrzymasz w rezultacie NaN ...

Z drugiej strony nie można wykonywać operacji matematycznych, używając Nonejako operandu.

Tak więc, w zależności od przypadku, możesz użyć Nonejako sposobu, aby powiedzieć algorytmowi, aby nie uwzględniał nieprawidłowych lub nieistniejących wartości w obliczeniach. Oznaczałoby to, że algorytm powinien przetestować każdą wartość, aby sprawdzić, czy tak jest None.

Numpy ma kilka funkcji, aby uniknąć wartości NaN skazić swoje wyniki, jak nansumi nan_to_numnp.

Funkcja isnan()sprawdza, czy coś jest „nie liczbą” i zwróci, czy zmienna jest liczbą, na przykład isnan(2)zwróci fałsz

Warunek myVar is not Nonezwraca, czy zmienna jest zdefiniowana, czy nie

Twoja tablica numpy używa, isnan()ponieważ ma być tablicą liczb i inicjalizuje wszystkie elementy tablicy, aby NaNte elementy były uważane za "puste"

Poniżej przedstawiamy różnice:

• nan należy do klasy float
• None należy do klasy NoneType

Poniższy artykuł uważam za bardzo pomocny: https://medium.com/analytics-vidhya/dealing-with-missing-values-nan-and-none-in-python-6fc9b8fb4f31

NaNoznacza NIE numer .
Nonemoże oznaczać jakiekolwiek .