W przypadku posiadania kombinacji atrybutów jakościowych i liczbowych zwykle przekształcam atrybuty jakościowe w jeden gorący wektor. Moje pytanie brzmi: czy pozostawiam te wektory bez zmian i skaluję atrybuty numeryczne poprzez standaryzację / normalizację, czy powinienem skalować jeden gorący wektor wraz z atrybutami numerycznymi?
Odpowiedzi:
Po przekształceniu do postaci numerycznej modele nie reagują inaczej na kolumny z kodowaniem „na gorąco” niż na inne dane liczbowe. Istnieje więc wyraźny precedens, aby znormalizować wartości {0,1}, jeśli robisz to z jakiegokolwiek powodu, aby przygotować inne kolumny.
Efekt takiego działania będzie zależeć od klasy modelu i rodzaju zastosowanej normalizacji, ale zauważyłem pewne (małe) ulepszenia podczas skalowania do wartości 0, std 1 dla danych kategorialnych zakodowanych na gorąco podczas szkolenia sieci neuronowych.
Może to mieć znaczenie również dla klas modeli opartych na pomiarach odległości.
Niestety, podobnie jak większość tego rodzaju wyborów, często musisz wypróbować oba podejścia i wybrać ten, który ma najlepsze parametry.