Metody lokalne, takie jak K-NN, mają sens w niektórych sytuacjach.
Jeden przykład, który zrobiłem w pracy szkolnej, dotyczył przewidywania wytrzymałości na ściskanie różnych mieszanin składników cementu. Wszystkie te składniki były względnie nielotne w odniesieniu do odpowiedzi lub siebie nawzajem, a KNN dokonał wiarygodnych prognoz na jej temat. Innymi słowy, żadna ze zmiennych niezależnych nie miała nieproporcjonalnie dużej zmienności, aby nadać modelowi indywidualnie lub ewentualnie wzajemną interakcję.
Weź to z odrobiną soli, ponieważ nie znam techniki badania danych, która ostatecznie to pokazuje, ale intuicyjnie wydaje się rozsądne, że jeśli twoje cechy mają pewien proporcjonalny stopień wariancji, nie wiem, jaki odsetek, możesz mieć Kandydat KNN. Z pewnością chciałbym wiedzieć, czy opracowano w tym celu jakieś badania i techniki.
Jeśli myślisz o tym z ogólnej perspektywy domeny, istnieje szeroka klasa aplikacji, w których podobne „przepisy” dają podobne wyniki. Z pewnością zdawało się to opisywać sytuację przewidywania wyników mieszania cementu. Powiedziałbym, że gdybyś miał dane, które zachowywały się zgodnie z tym opisem, a ponadto twoja miara odległości była również naturalna dla danej dziedziny i na koniec, że posiadałeś wystarczające dane, wyobrażam sobie, że powinieneś uzyskać przydatne wyniki z KNN lub innej metody lokalnej .
Korzystasz również z wyjątkowo niskiego odchylenia, kiedy używasz lokalnych metod. Czasami uogólnione modele addytywne (GAM) równoważą odchylenie i wariancję, dopasowując każdą zmienną za pomocą KNN, tak aby:
y^= f1( x1) + f2)( x2)) + ⋯ + fn( xn) + ϵ
Część addytywna (symbole plus) chroni przed dużą wariancją, a użycie KNN zamiast chroni przed dużym odchyleniem.fan( xn)
Nie odpisałbym KNN tak szybko. Ma swoje miejsce.