Statystyki i duże zbiory danych data-preprocessing

1

Kodowanie typu hot-man vs dummy w Scikit-learn

Istnieją dwa różne sposoby kodowania zmiennych jakościowych. Powiedzmy, że jedna zmienna kategorialna ma n wartości. Kodowanie na gorąco konwertuje go na n zmiennych, podczas gdy kodowanie zastępcze konwertuje go na zmienne n-1 . Jeśli mamy k zmiennych kategorialnych, z których każda ma n wartości. Jedno kodowanie na gorąco kończy się …

50 regression categorical-data data-transformation scikit-learn data-preprocessing

2

Czy losowy las wymaga skalowania lub wyśrodkowania zmiennych wejściowych?

Moje zmienne wejściowe mają różne wymiary. Niektóre zmienne są dziesiętne, a niektóre setne. Czy konieczne jest wyśrodkowanie (odjęcie średniej) lub skalowanie (podzielenie przez odchylenie standardowe) tych zmiennych wejściowych, aby dane były bezwymiarowe podczas korzystania z losowego lasu?

16 random-forest standardization data-preprocessing centering

2

Sieci neuronowe: jedna zmienna przytłaczająca ciągła?

Mam surowe dane, które mają około 20 kolumn (20 funkcji). Dziesięć z nich to ciągłe dane, a 10 z nich ma charakter kategoryczny. Niektóre dane jakościowe mogą mieć 50 różnych wartości (stany USA). Po wstępnym przetworzeniu danych 10 ciągłych kolumn staje się 10 przygotowanymi kolumnami, a 10 wartości kategorycznych staje …

13 machine-learning neural-networks tensorflow data-preprocessing theano

3

Jakie algorytmy wymagają jednorazowego kodowania?

Nigdy nie jestem pewien, kiedy zastosować kodowanie „na gorąco” w przypadku niez uporządkowanych zmiennych kategorialnych, a kiedy nie. Używam go, ilekroć algorytm używa metryki odległości do obliczenia podobieństwa. Czy ktokolwiek może podać ogólną ogólną zasadę, jakie typy algorytmów wymagają, aby niez uporządkowane funkcje kategorialne były zakodowane na gorąco, a które …

12 machine-learning categorical-data categorical-encoding data-preprocessing

1

Pytanie o odejmowanie średniej w zestawie pociąg / ważny / testowy

Robię wstępne przetwarzanie danych i zamierzam później zbudować Convonets na moich danych. Moje pytanie brzmi: Powiedzmy, że mam całkowitą liczbę zestawów danych ze 100 obrazami, obliczałem średnią dla każdego ze 100 obrazów, a następnie odejmowałem je od każdego z obrazów, a następnie dzieliłem to na ciąg i zestaw sprawdzania poprawności, …

11 machine-learning cross-validation data-preprocessing

2

Co to jest kubizacja?

Chodziłem dookoła, by znaleźć jasne wytłumaczenie „kubalizacji” w uczeniu maszynowym bez powodzenia. Jak dotąd rozumiem, że kubetyzacja jest podobna do kwantyzacji w cyfrowym przetwarzaniu sygnału, w którym zakres ciągłych wartości jest zastępowany jedną dyskretną wartością. Czy to jest poprawne? Jakie są zalety i wady (oprócz oczywistego wpływu utraty informacji) stosowania …

10 machine-learning dataset data-preprocessing

Pytania otagowane jako data-preprocessing