lub

14

Czy ktoś używa metryk $L_1$ lub $L_.5$ do grupowania, a nie $L_2$ ?
Aggarwal i wsp., O zaskakującym zachowaniu wskaźników odległości w przestrzeni wielowymiarowej powiedział (w 2001)

jest konsekwentnie bardziej preferowany niż metryczny euklidesowy wskaźnik odległości dla aplikacji eksploracji danych o dużych wymiarach $L_1$ $L_2$

i twierdził, że lub mogą być jeszcze lepsze. $L_.5$ $L_.1$

Powody stosowania lub mogą być teoretyczne lub eksperymentalne, np. Wrażliwość na wartości odstające / dokumenty Kabána lub programy uruchamiane na danych rzeczywistych lub syntetycznych (proszę odtwarzać). Przykład lub zdjęcie pomogłoby intuicji mojego laika. $L_1$ $L_.5$

To pytanie jest kontynuacją odpowiedzi Boba Durranta na „ Kiedy-najbliższy sąsiad-znaczący-dziś” . Jak mówi, wybór będzie zależał zarówno od danych, jak i od aplikacji; mimo to przydatne byłyby raporty z prawdziwych doświadczeń. $p$

Dodano uwagi we wtorek 7 czerwca:

Natknąłem się na „Analizę danych statystycznych w oparciu o normę L1 i powiązane metody”, Dodge red., 2002, 454p, isbn 3764369205 - dziesiątki artykułów konferencyjnych.

Czy ktoś może analizować koncentrację odległości pod kątem cech wykładniczych? Jednym z powodów wykładniczych jest to, że ; innym (nie ekspertem) jest to, że jest to rozkład maks. entropii 0; po trzecie, niektóre rzeczywiste zestawy danych, w szczególności SIFT, wyglądają w przybliżeniu wykładniczo. $|exp - exp| \sim exp$ $\ge$

clustering distance-functions rule-of-thumb

— denis
źródło

Należy wspomnieć, że Aggarwal i in. w tym konkretnym artykule, gdzie szuka zachowania się

norm w problemów, takich jak klastry najbliższego sąsiada i indeksowania.

L_{p}

$L_p$

— deps_stats

prawdopodobnie oznaczało

metryki dla sekwencji zamiast

do funkcji? Moim zdaniem, jeśli istnieje jakieś kryterium optymalizacji, problem można rozwiązać, optymalizując go. Praktyczne zasady będą zazwyczaj związane z dokładnym rozwiązaniem takiego problemu. W każdym razie spróbuj pomyśleć o preferowanych właściwościach znanego rozwiązania. Po przeczytaniu artykułów prawdopodobnie mógłbym powiedzieć coś więcej na ten temat.

l_{p}

$l_p$

L_{p}

$L_p$

— Dmitrij Celov,

@deps_stats, tak, dzięki; zmienił tytuł i pierwszą linię. @Dmitrij, 1) tak, mała-l jest ściśle mówiąc poprawna, ale duża-L jest powszechna i zrozumiała. 2) tak, można znaleźć optymalne p dla danego problemu, ale jaki jest twój pierwszy wybór i dlaczego?

— denis

6

Kluczem tutaj jest zrozumienie „przekleństwa wymiarowości”, do którego odwołuje się artykuł. Z wikipedii: gdy liczba wymiarów jest bardzo duża,

prawie cała przestrzeń wielowymiarowa znajduje się „daleko od centrum” lub, innymi słowy, można powiedzieć, że przestrzeń wielowymiarowa składa się prawie całkowicie z „rogów” hipersześcianu, prawie nie ma "środkowy"

W rezultacie zaczyna się zastanawiać, które punkty są bliskie, a które inne, ponieważ wszystkie są mniej więcej tak samo od siebie oddalone. To jest problem w pierwszym dokumencie, z którym się łączysz.

Problem z wysokim p polega na tym, że podkreśla on większe wartości - pięć do kwadratu i cztery do kwadratu to dziewięć jednostek od siebie, ale jeden do kwadratu i dwa do kwadratu to tylko trzy jednostki. Tak więc większe wymiary (rzeczy w rogach) dominują nad wszystkim i tracisz kontrast. Takiej inflacji dużych odległości jest to, czego chcesz uniknąć. W przypadku ułamka p nacisk kładziony jest na różnice w mniejszych wymiarach - wymiarach, które faktycznie mają wartości pośrednie - co daje większy kontrast.

— David J. Harris
źródło

(+1) Więc @David, ogólnie, czy istnieje kryterium opisujące jakość kontrastu?

— Dmitrij Celov

Wygląda na to, że pierwszy połączony papier sugeruje maksymalną odległość minus minimalną odległość. Mogą być jednak lepsze sposoby.

— David J. Harris

dobra jasna intuicja, +1 (chociaż nie jest jasne, gdzie są narożniki w rozkładach odległości). Czy używałeś

lub

na prawdziwych danych?

L_{1}

$L_1$

L_{.5}

$L_.5$

— denis

1

@Denis Thanks! Myślę, że bit narożny ma największy sens, jeśli dane są ograniczone wewnętrznie lub wszystkie wymiary. W każdym razie obawiam się, że nie mam wystarczającego doświadczenia w tworzeniu klastrów, aby mieć dobre wyczucia dotyczące różnych wskaźników. Irytujące jest to, że najlepszym podejściem może być wypróbowanie kilku i zobaczenie, co się stanie

— David J. Harris,

1

Jest papier wykorzystujący pomiar Lp zp między 1 a 5, który możesz rzucić okiem:

Amorim, RC i Mirkin, B., Minkowski Metric, Ważenie cech i anomalna inicjalizacja skupień w grupowaniu K-średnich, Rozpoznawanie wzorców, obj. 45 (3), s. 1061–1075, 2012

Pobierz, https://www.researchgate.net/publication/232282003_Author 's_personal_copy_Minkowski_metric_feature_weighting_and_anomalous_cluster_initializing_in_K-Means_ clustering / file / d912f508115a040b45.pdf

— Homer Simpson
źródło

0

$\mathbb{R}^n$ $u$ $\ell_2$ $u$ $u$ $\ell_2$

— Ashok
źródło

L_{2}

$L_2$

L_{1}

$L_1$

L_{.5}

$L_.5$