Próbuję dowiedzieć się, co to różnorodne założenie oznacza w częściowo nadzorowanym uczeniu się. Czy ktoś może wyjaśnić w prosty sposób? Nie rozumiem za tym intuicji.
Mówi, że twoje dane leżą na wielowymiarowym kolektorze osadzonym w przestrzeni o wyższych wymiarach. Nie zrozumiałem, co to znaczy.
Odpowiedzi:
Wyobraź sobie, że masz kilka nasion przymocowanych do szklanego talerza, który spoczywa poziomo na stole. Ze względu na sposób, w jaki zwykle myślimy o przestrzeni, można śmiało powiedzieć, że te nasiona żyją w przestrzeni dwuwymiarowej, mniej więcej, ponieważ każde ziarno można zidentyfikować za pomocą dwóch liczb, które podają współrzędne tego ziarna na powierzchni szkło.
Teraz wyobraź sobie, że bierzesz płytkę i przechylasz ją po przekątnej w górę, aby powierzchnia szkła nie była już pozioma względem ziemi. Teraz, jeśli chcesz zlokalizować jedno z nasion, masz kilka opcji. Jeśli zdecydujesz się zignorować szkło, wówczas każde ziarno wydaje się unosić w trójwymiarowej przestrzeni nad stołem, więc musisz opisać położenie każdego ziarna za pomocą trzech liczb, po jednej dla każdego kierunku przestrzennego. Ale po prostu przechylając szkło, nie zmieniłeś faktu, że nasiona nadal żyją na dwuwymiarowej powierzchni. Możesz więc opisać, jak powierzchnia szkła leży w trójwymiarowej przestrzeni, a następnie możesz opisać położenie ziaren na szkle, używając oryginalnych dwóch wymiarów.
W tym eksperymencie myślowym powierzchnia szklana jest podobna do wielowymiarowego kolektora, który istnieje w przestrzeni o wyższym wymiarze: bez względu na to, jak obracasz płytkę w trzech wymiarach, nasiona nadal żyją wzdłuż powierzchni dwuwymiarowej płaszczyzny.
Mówiąc bardziej ogólnie, nisko wymiarowy kolektor osadzony w przestrzeni o wyższym wymiarze jest tylko zbiorem punktów, które z jakiegokolwiek powodu uważa się za połączone lub będące częścią tego samego zestawu. W szczególności kolektor może być w jakiś sposób wykrzywiony w przestrzeni o większych wymiarach (np. Być może powierzchnia szkła jest wypaczona do kształtu misy zamiast kształtu płytki), ale kolektor nadal jest zasadniczo mało wymiarowy. Zwłaszcza w przestrzeni wielowymiarowej ten rozmaitość może przyjmować wiele różnych form i kształtów, ale ponieważ żyjemy w trójwymiarowym świecie, trudno jest wyobrazić sobie przykłady o więcej niż trzech wymiarach. Jako przykład weźmy jednak pod uwagę następujące przykłady:
Typowe przykłady rozmaitości w uczeniu maszynowym (lub przynajmniej zestawach, dla których istnieje hipoteza, że żyją wzdłuż wielowymiarowych różnorodności) obejmują:
Różnorodnym założeniem w uczeniu maszynowym jest to, że zamiast zakładać, że dane na świecie mogą pochodzić z każdej części możliwej przestrzeni (np. Przestrzeni wszystkich możliwych obrazów 1-megapikselowych, w tym białego szumu), bardziej sensowne jest założenie, że dane treningowe pochodzą ze stosunkowo niewielkich wymiarów rozmaitości (jak szklana płytka z nasionami). Wówczas poznanie struktury rozmaitości staje się ważnym zadaniem; ponadto wydaje się, że to zadanie uczenia się jest możliwe bez użycia oznakowanych danych treningowych.
Istnieje wiele różnych sposobów uczenia się struktury wielowymiarowego rozmaitości. Jednym z najczęściej stosowanych podejść jest PCA, który zakłada, że kolektor składa się z pojedynczej elipsoidalnej „kropli”, takiej jak naleśnik lub cygaro, osadzonej w przestrzeni o większych wymiarach. Bardziej skomplikowane techniki, takie jak izomapa, ICA lub rzadkie kodowanie, rozluźniają niektóre z tych założeń na różne sposoby.
Powód, dla którego różnorodne założenie jest ważne w częściowo nadzorowanym nauczaniu, jest dwojaki. W przypadku wielu realistycznych zadań (np. Ustalenie, czy piksele na obrazie pokazują 4 czy 5), na świecie dostępnych jest znacznie więcej danych bez etykiet (np. Obrazy, które mogą zawierać cyfry) niż z etykietami (np. obrazy, które są wyraźnie oznaczone „4” lub „5”). Ponadto w pikselach obrazów dostępnych jest wiele rzędów wielkości więcej informacji niż w etykietach obrazów z etykietami. Ale, jak opisałem powyżej, naturalne obrazy nie są próbkowane z równomiernego rozkładu w konfiguracjach pikseli, więc wydaje się prawdopodobne, że istnieje pewna różnorodność, która uchwyci strukturę naturalnych obrazów.rozmaitości, podczas gdy obrazy zawierające 5s również leżą na innym, ale pobliskim rozmaitości, wówczas możemy spróbować opracować reprezentacje dla każdego z tych rozmaitości, używając tylko danych pikselowych, mając nadzieję, że różne rozmaitości będą reprezentowane przy użyciu różnych wyuczonych cech danych. Następnie, gdy mamy kilka bitów danych etykiety, możemy użyć tych bitów, aby po prostu zastosować etykiety do już zidentyfikowanych rozmaitości.
Większość tych wyjaśnień pochodzi z pracy w głębokiej i pełnometrażowej literaturze edukacyjnej. Yoshua Bengio i Yann LeCun - patrz samouczek dotyczący uczenia się na podstawie energii, mają szczególnie dostępne argumenty w tej dziedzinie.
Najpierw upewnij się, że rozumiesz, czym jest osadzanie. Jest zapożyczony z matematyki . Z grubsza mówiąc, jest to mapowanie danych na inną przestrzeń (często nazywaną przestrzenią osadzania lub przestrzenią funkcji ), zachowując pewną strukturę lub właściwości danych. Pamiętaj, że jego wymiary mogą być większe lub mniejsze niż przestrzeń wejściowa. W praktyce mapowanie jest złożone i wysoce nieliniowe. Kilka przykładów:
Aby to zilustrować, wezmę przykład tego artykułu od Josha Tenenbauma:
Ryc. 1 ilustruje problem odnajdywania cech na przykładzie z percepcji wzrokowej. Zestaw widoków twarzy ze wszystkich możliwych punktów widzenia jest niezwykle wysokowymiarowym zestawem danych, gdy jest reprezentowany jako tablice obrazów na komputerze lub siatkówce; na przykład obrazy w skali szarości 32 x 32 piksele można traktować jako punkty w 1024-wymiarowej przestrzeni obserwacyjnej [przestrzeni wejściowej] . Jednak percepcyjnie znacząca struktura tych obrazów [przestrzeń cech] ma jednak znacznie mniejszą wymiarowość; wszystkie obrazy na ryc. 1 leżą na dwuwymiarowym kolektorze sparametryzowanym przez kąt widzenia
Josh Tenenbaum omawia następnie trudności w nauce takiego mapowania od danych wejściowych do przestrzeni obiektów. Wróćmy jednak do pytania: interesuje nas, w jaki sposób powiązane są wejścia i funkcje.
32*32 array of grey pixel valuesto przestrzeń wejściowa[x1=elevation, x2=azimuth]Przestrzeń jest przestrzenią funkcja (choć proste, to może być traktowane jako ważnego miejsca osadzania).Powtarzając różnorodną hipotezę (cytowanie z tego wspaniałego artykułu ):
Hipoteza rozmaitości polega na tym, że naturalne dane kształtują rozmaitości o niższych wymiarach w swojej przestrzeni osadzania
W tym przykładzie jasne jest, że wymiarowość przestrzeni osadzania jest o wiele mniejsza niż przestrzeń wejściowa: 2 vs 1024. (To rozróżnienie będzie obowiązywać nawet w przypadku wyborów wyższych wymiarów, mniej uproszczonych przestrzeni osadzania).
Aby przekonać się, że osadzanie się jest różnorodne, zapraszam do zapoznania się z resztą papierowego dokumentu Tenenbaum lub artykułem Colah .
Uwaga: to tylko ilustracja tego, co oznacza różnorodna hipoteza, a nie argument, dlaczego tak się dzieje .
Powiązane: Objaśnienie wektorów słów , papier word2vec