Statystyki i duże zbiory danych normalization

6

Jestem zagubiony w normalizacji, czy ktoś mógłby mnie poprowadzić, proszę. Mam wartości minimalne i maksymalne, powiedzmy odpowiednio -23,89 i 7,54990767. Jeśli otrzymam wartość 5,6878, jak mogę skalować tę wartość w skali od 0 do 1.

265 normalization

5

Jaka jest różnica między normalizacją a normalizacją?

W pracy rozmawialiśmy o tym, ponieważ mój szef nigdy nie słyszał o normalizacji. W algebrze liniowej normalizacja wydaje się odnosić do podziału wektora przez jego długość. A w statystykach normalizacja wydaje się odnosić do odejmowania średniej, a następnie dzielonej przez jej SD. Ale wydają się one również zamienne z innymi …

118 descriptive-statistics normalization standardization

6

Jakie są dobre masy początkowe w sieci neuronowej?

Właśnie usłyszałem, że dobrym pomysłem jest wybór początkowych wag sieci neuronowej z zakresu , gdzie jest liczba wejść do danego neuronu. Zakłada się, że zbiory są znormalizowane - średnia 0, wariancja 1 (nie wiem, czy to ma znaczenie).d( - 1re√, 1re√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})redd Dlaczego to dobry pomysł?

68 neural-networks normalization

9

Jak i dlaczego działa normalizacja i skalowanie funkcji?

Widzę, że wiele algorytmów uczenia maszynowego działa lepiej przy średnim anulowaniu i wyrównaniu kowariancji. Na przykład sieci neuronowe mają tendencję do szybszego konwergencji, a K-Means zazwyczaj zapewnia lepszą klastrowanie z wstępnie przetworzonymi funkcjami. Nie widzę intuicji za tymi krokami wstępnego przetwarzania, które prowadzą do poprawy wydajności. Czy ktoś może mi …

61 machine-learning neural-networks covariance normalization

3

Czy przeprowadzić normalizację funkcji przed czy w ramach walidacji modelu?

Powszechną dobrą praktyką w uczeniu maszynowym jest normalizacja funkcji lub standaryzacja danych zmiennych predykcyjnych, to znaczy, wyśrodkowanie danych odejmując średnią i normalizując ją dzieląc przez wariancję (lub też odchylenie standardowe). W celu zapewnienia sobie samowystarczalności i dla mojego zrozumienia robimy to, aby osiągnąć dwie główne rzeczy: Unikaj bardzo małych odważników …

52 machine-learning normalization standardization multidimensional-scaling

1

Jak zastosować normalizację / normalizację do zestawu szkoleniowego i testowego, jeśli celem jest przewidywanie?

Czy jednocześnie przekształcam wszystkie moje dane lub foldery (jeśli zastosowano CV)? na przykład (allData - mean(allData)) / sd(allData) Czy osobno przekształcam skład zestawu i zestaw testowy? na przykład (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Czy też przekształcam skład zestawu i korzystam z obliczeń na zestawie testów? …

47 r cross-validation data-transformation normalization standardization

4

Normalizacja a skalowanie

Jaka jest różnica między „normalizacją” danych a „skalowaniem” danych? Do tej pory myślałem, że oba terminy odnoszą się do tego samego procesu, ale teraz zdaję sobie sprawę, że jest coś więcej, czego nie wiem / nie rozumiem. Także jeśli istnieje różnica między normalizacją a skalowaniem, kiedy powinniśmy używać normalizacji, ale …

45 data-transformation scales normality-assumption normalization

2

Czy potrzebna jest normalizacja średnia i skalowanie funkcji dla grupowania k-średnich?

Jakie są najlepsze (zalecane) kroki przetwarzania wstępnego przed wykonaniem k-średnich?

44 clustering normalization k-means

2

Jak znormalizować dane między -1 a 1?

Widziałem formułę normalizacji min-max, ale normalizuje ona wartości od 0 do 1. W jaki sposób normalizowałbym moje dane od -1 do 1? Mam zarówno ujemne, jak i dodatnie wartości w mojej macierzy danych.

36 dataset normalization

2

Czy niezbędna jest normalizacja SVM i Random Forest?

Każdy wymiar moich funkcji ma inny zakres wartości. Chcę wiedzieć, czy konieczna jest normalizacja tego zestawu danych.

29 machine-learning svm random-forest normalization

8

Jak reprezentować niezwiązaną zmienną jako liczbę między 0 a 1

Chcę reprezentować zmienną jako liczbę z przedziału od 0 do 1. Zmienna jest nieujemną liczbą całkowitą bez nieodłącznego wiązania. Odwzorowuję 0 na 0, ale co mogę odwzorować na 1 lub liczby od 0 do 1? Mógłbym użyć historii tej zmiennej, aby podać limity. Oznaczałoby to, że muszę powtórzyć stare statystyki, …

28 normalization

2

Czy normalizacja przed Lasso jest naprawdę konieczna?

Przeczytałem trzy główne powody standaryzacji zmiennych przed czymś takim jak Lassoregresja: 1) Interpretowalność współczynników. 2) Możliwość uszeregowania znaczenia współczynnika według względnej wielkości oszacowań współczynnika skurczu. 3) Nie ma potrzeby przechwytywania. Ale zastanawiam się nad najważniejszą kwestią. Czy mamy powody sądzić, że standaryzacja poprawiłaby generalizację modelu poza próbą? Nie obchodzi mnie …

28 normalization lasso standardization regularization shrinkage

2

Czy podobieństwo cosinus jest identyczne z odległością euklidesową znormalizowaną przez l2?

Identyczne ten sposób, że spowoduje to identyczne wyniki dla podobieństwa kolejności pomiędzy wektorem u i zestaw wektorów V . Mam model przestrzeni wektorowej, który ma parametry pomiaru odległości (odległość euklidesowa, podobieństwo cosinusa) i techniki normalizacji (brak, l1, l2) jako parametrów. Z mojego zrozumienia, wyniki z ustawień [cosinus, none] powinny być …

27 normalization natural-language euclidean cosine-distance cosine-similarity

3

Kolumnowa normalizacja macierzy w R [zamknięty]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 6 lat temu . Chciałbym przeprowadzić kolumnową normalizację macierzy w R. Biorąc pod uwagę macierz m, chcę znormalizować każdą kolumnę dzieląc każdy element przez sumę …

26 r data-transformation normalization matrix

5

Czy powinieneś kiedykolwiek ustandaryzować zmienne binarne?

Mam zestaw danych z zestawem funkcji. Niektóre z nich są binarne aktywne lub zwolnione, nieaktywne lub nieaktywne), a reszta ma wartość rzeczywistą, np . .(1=(1=(1=0=0=0=4564.3424564.3424564.342 Chcę nakarmić te dane do algorytmu uczenia maszynowego, więc zzz -score wszystkie wartościach rzeczywistych możliwości. Dostaję je w przybliżeniu między zakresem 333 a −2−2-2 . …

25 machine-learning normalization binary-data

Pytania otagowane jako normalization