Jak mogę dynamicznie odróżnić dane kategoryczne od danych liczbowych?

Znam kogoś, kto pracuje nad projektem, który obejmuje przyjmowanie plików danych bez względu na kolumny lub typy danych. Zadanie polega na pobraniu pliku z dowolną liczbą kolumn i różnych typów danych oraz wyjściowych statystyk podsumowujących dane liczbowe.

Nie ma jednak pewności, jak dynamicznie przypisywać typy danych do niektórych danych liczbowych. Na przykład:

    CITY
    Albuquerque
    Boston
    Chicago

To oczywiście nie są dane liczbowe i będą przechowywane jako tekst. Jednak,

    ZIP
    80221
    60653
    25525

nie są wyraźnie oznaczone jako kategoryczne. Jego oprogramowanie przypisuje kod pocztowy jako statystyki numeryczne i podsumowujące dane wyjściowe, co nie ma sensu dla tego rodzaju danych.

Kilka pomysłów, które mieliśmy:

1. Jeśli kolumna zawiera wszystkie liczby całkowite, oznacz ją jako kategoryczną. To oczywiście nie zadziałałoby, ale to był pomysł.
2. Jeśli kolumna ma mniej niż n unikalnych wartości i jest liczbowa, oznacz ją kategorycznie. Może to być bliżej, ale nadal mogą występować problemy z przepływaniem danych liczbowych.
3. Utrzymaj listę typowych danych liczbowych, które powinny faktycznie być jakościowe, i porównaj nagłówki kolumn z tą listą w celu dopasowania. Na przykład wszystko, co zawiera „ZIP”, byłoby kategoryczne.

Mój żołądek mówi mi, że nie ma sposobu, aby dokładnie przypisać dane liczbowe jako kategoryczne lub liczbowe, ale liczyłem na sugestię. Wszelkie informacje, które posiadasz, są bardzo mile widziane.

Nie znam niezawodnego sposobu na zrobienie tego. Oto jeden pomysł z mojej głowy:

1. Domyślnie traktuj wartości jako jakościowe.
2. Sprawdź różne atrybuty danych, które sugerowałyby, że są one rzeczywiście ciągłe. Wagi tych atrybutów na podstawie prawdopodobieństwa korelacji z ciągłymi danymi. Oto kilka możliwych przykładów:
   • Wartościami są liczby całkowite: +.7
   • Wartości są zmiennoprzecinkowe: +.8
   • Wartości są zwykle dystrybuowane: +.3
   • Wartości zawierają stosunkowo niewielką liczbę unikalnych wartości: +.3
   • Nie wszystkie wartości mają tę samą liczbę znaków: +.1
   • Wartości nie zawierają zer wiodących: +.1
3. Traktuj dowolne kolumny, których suma jest większa niż 1, jako liczbowe. Dostosuj współczynniki i wagi w oparciu o testowanie różnych zestawów danych do swoich potrzeb. Aby to zrobić, możesz nawet zbudować i wyszkolić osobny algorytm uczenia maszynowego.

Jeśli masz na przykład liczbę dzieci w rodzinie (która może wynosić na przykład od 0 do 5), czy jest to zmienna kategoryczna lub liczbowa? W rzeczywistości zależy to od twojego problemu i tego, jak zamierzasz go rozwiązać. W tym sensie możesz wykonać następujące czynności:

• Oblicz liczbę unikalnych wartości tej kolumny
• Podziel tę liczbę przez całkowitą liczbę wierszy
• Jeśli ten stosunek jest poniżej pewnego progu (na przykład 20%), uznajesz go za kategoryczny.

W przypadku wartości dyskretnych jednym dodatkowym testem może być: użycie modelu regresji do oszacowania niektórych parametrów i sprawdzenie, czy oszacowane wartości są zawarte w oryginalnym zestawie wartości. Jeśli nie jest to prawdą, prawdopodobnie masz do czynienia z danymi kategorycznymi (jak w przypadku ZIP).

W przeszłości działało to dla mnie stosunkowo dobrze ...

Ponieważ to pytanie zostało zamieszczone w krzyżowych wiadomościach, wstępne komentarze @nickcox na temat Cross Validated są bardzo trafne i prawdziwe. Moje poglądy są nieco inne. Na przykład przeredagowałbym pytanie, rozkładając je na dwie części: po pierwsze, chodzi o to, jak zająłby się klasyfikowanie strumienia nieznanych informacji według typu danych, a po drugie, jakiego rodzaju można spodziewać się błędnej klasyfikacji. Na oba pytania można natychmiast odpowiedzieć, jeśli ktoś chce poświęcić na to trochę czasu.

Pierwszy problem polega na opracowaniu opartego na regułach systemu eksperckiego zgodnie z tym, co zostało wstępnie zaproponowane w komentarzach i odpowiedziach na te wątki, z wykorzystaniem próbek rzeczywistych danych, które są łatwo dostępne.

Po drugie, biorąc pod uwagę, że te rzeczywiste dane zawierają znane typy danych, porównuje błąd klasyfikacji.

Trzeci krok obejmowałby iteracyjną aktualizację reguł, aby dokładniej odzwierciedlały przekazywane informacje - w zakresie, w jakim jest to możliwe.

Moim zdaniem, choć nużący, taki projekt nie wymagałby zbytniej pracy.

---- Dodatkowy komentarz ----

Dobra dyskusja na temat ekstrakcji funkcji związanych z procesem generowania danych pojawiła się tutaj na CV:

/stats/191935/what-does-the-process-that-generates-the-data-mean-and-how-does-feature-selec

Wyodrębnianie funkcji, selekcja i MZD to doskonały punkt wyjścia do opracowania systemu eksperckiego.