Jakiego rodzaju normalizacji danych należy używać z KNN?

Wiem, że istnieją więcej niż dwa rodzaje normalizacji.

Na przykład,

1- Przekształcanie danych przy użyciu wyniku Z lub wyniku T. Zwykle nazywa się to standaryzacją.

2- Skalowanie danych, aby uzyskać wartości od 0 do 1.

Pytanie, czy potrzebuję normalizacji

Jakiego rodzaju normalizacji danych należy używać z KNN? i dlaczego?

— jeza
źródło

W przypadku k-NN sugerowałbym normalizację danych między a . $0$ $1$

k-NN wykorzystuje odległość euklidesową jako sposób porównania przykładów. Obliczyć odległość pomiędzy dwoma punktami , a , w którym to wartość $x_1 = (f_1^1, f_1^2, ..., f_1^M)$ $x_2 = (f_2^1, f_2^2, ..., f_2^M)$ $f_1^i$ $i$ -ta cecha : $x_1$

d (x_{1}, x_{2}) = \sqrt{(f_{1}^{1} - f_{2}^{1})^{2} + (f_{1}^{2} - f_{2}^{2})^{2} + . . . + (f_{1}^{M} - f_{2}^{M})^{2}}

$d(x_1, x_2) = \sqrt{(f_1^1 - f_2^1)^2 + (f_1^2 - f_2^2)^2 + ... + (f_1^M - f_2^M)^2}$

Aby wszystkie cechy miały jednakowe znaczenie przy obliczaniu odległości, muszą mieć ten sam zakres wartości. Można to osiągnąć tylko poprzez normalizację.

Gdyby nie były znormalizowane i np. Cecha miała zakres wartości w ), zaś miała zakres wartości w . Przy obliczaniu odległości drugi składnik byłby razy ważniejszy niż pierwszy, co spowodowałoby, że k-NN polegałby bardziej na drugiej funkcji niż na pierwszej. Normalizacja zapewnia, że wszystkie funkcje są odwzorowane na ten sam zakres wartości. $f^1$ $[0, 1$ $f^2$ $[1, 10)$ $10$

Z drugiej strony standaryzacja ma wiele przydatnych właściwości, ale nie może zagwarantować, że funkcje są mapowane do tego samego zakresu. Chociaż standaryzacja może być najlepiej dostosowana do innych klasyfikatorów, nie dotyczy to k-NN ani żadnego innego klasyfikatora opartego na odległości.

— Djib2011
źródło

Czy twoja odpowiedź będzie taka sama, jeśli użyłem innej odległości zamiast odległości euklidesowej (na przykład odległość Manhattanu lub inna odległość nawet ułamkowa)? Także jeśli zakres zmiennych jest w przybliżeniu blisko siebie.

— jeza

f^{1} \in [0, 1)

$f^1 \in [0, 1)$

f^{2} \in [0, 1.2)

$f^2 \in [0, 1.2)$

f^{2}

$f^2$

20 %

$20\%$

f^{1}

$f^1$ . Jedną rzeczą, o której zapomniałem wspomnieć, było to, że standaryzacja jest oczywiście znacznie lepsza niż brak skalowania funkcji; jest po prostu gorszy niż normalizacja.

— Djib2011,

O, rozumiem. „jest po prostu gorszy niż normalizacja” !?

— jeza