Uczenie się bez nadzoru, pod nadzorem i częściowo pod nadzorem

Jaka jest różnica w kontekście uczenia maszynowego

uczenie się bez nadzoru
nadzorowane uczenie się i
częściowo nadzorowane uczenie się?

Jakie są niektóre z głównych podejść algorytmicznych?

— Ami
źródło

Po pierwsze, dwie linijki z wiki: „W informatyce pół-nadzorowane uczenie się to klasa technik uczenia maszynowego, które wykorzystują zarówno dane oznaczone, jak i nieznakowane do szkolenia - zazwyczaj niewielka ilość danych oznaczonych dużą ilością danych nieznakowanych. Uczenie się częściowo nadzorowane mieści się pomiędzy uczeniem się bez nadzoru (bez żadnych oznaczonych danych szkoleniowych) a uczeniem się nadzorowanym (z całkowicie oznakowanymi danymi szkoleniowymi). ” To pomaga?

Co masz na myśli z „podejściami algorytmicznymi”? Podałem kilka przykładów aplikacji w mojej odpowiedzi, czy tego właśnie szukasz?

— Peter Smit

Odpowiedzi:

Zasadniczo problemy uczenia maszynowego można uznać za warianty szacowania funkcji do celów klasyfikacji, prognozowania lub modelowania.

W nadzorowanym uczeniu się wyposaża się w dane wejściowe ( , , ...,) i wyjściowe ( , , ...,) i napotyka się trudności ze znalezieniem funkcji, która przybliża to zachowanie w uogólniony sposób. Wynikiem może być etykieta klasy (w klasyfikacji) lub liczba rzeczywista (w regresji) - są to „nadzór” w uczeniu nadzorowanym. $x_1$ $x_2$ $y_1$ $y_2$

W przypadku uczenia się bez nadzoru , w przypadku podstawowym otrzymujesz dane wejściowe , , ..., ale nie zapewniasz docelowych wyników ani nagród z jego środowiska. W zależności od problemu (sklasyfikuj lub przewiduj) i swojej podstawowej wiedzy o próbkowanej przestrzeni, możesz użyć różnych metod: szacowanie gęstości (szacowanie niektórych podstawowych plików PDF do prognozowania), k-średnie grupowanie (klasyfikowanie nieoznakowanych danych o wartościach rzeczywistych), k- grupowanie trybów (klasyfikowanie nieznakowanych danych kategorialnych) itp. $x_1$ $x_2$

Uczenie częściowo nadzorowane obejmuje oszacowanie funkcji na danych oznakowanych i nieznakowanych. Podejście to jest motywowane faktem, że generowanie danych na etykietach jest często kosztowne, podczas gdy dane nieoznaczone na ogół nie. Wyzwanie tutaj polega głównie na pytaniu technicznym, jak traktować dane mieszane w ten sposób. Zobacz tę ankietę dotyczącą częściowo nadzorowanego uczenia się, aby uzyskać więcej informacji na temat częściowo nadzorowanych metod uczenia się.

Oprócz tych rodzajów uczenia się, istnieją inne, takie jak uczenie zbrojenia przy czym metoda uczenia współdziała z jego środowiska poprzez działania produkujących , ,. . .. które dają nagrody lub kary , , ... $a_1$ $a_2$ $r_1$ $r_2$

— John L. Taylor
źródło

Twoja odpowiedź sugeruje, że nauka nadzorowana jest lepsza niż nauka częściowo nadzorowana, tam gdzie jest to możliwe. Czy to jest poprawne? Jeśli nie, to kiedy nauka częściowo nadzorowana może być lepsza?

— naught101

@ naught101 Jak to czytasz z jego odpowiedzi? Zgadzam się z tym, co mówi John, ale powiedziałbym coś przeciwnego do tego, co mówisz, mianowicie, że w miarę możliwości uczenie się częściowo nadzorowane jest lepsze niż uczenie się nadzorowane. Oznacza to, że jeśli masz jakieś dane oznaczone i niektóre dane nieznakowane (zwykle znacznie więcej niż ilość danych oznaczonych), lepiej byś zrobił, gdybyś mógł korzystać ze wszystkich danych, niż gdybyś mógł korzystać tylko z danych oznaczonych. Cały sens korzystania z częściowo nadzorowanego uczenia się polega na przewyższeniu wydajności uzyskanej dzięki uczeniu się nadzorowanemu lub uczeniu się bez nadzoru.

— HelloGoodbye,

@HelloGoodbye: ponieważ jedyną korzyścią wyszczególnioną dla częściowo nadzorowanego uczenia jest to, że w niektórych przypadkach jest tańsze, ale ma dodatkową wadę polegającą na tym, że jest trudniejsze. Wydaje mi się rozsądne, że w pełni nadzorowane uczenie się byłoby łatwiejsze i dokładniejsze (wszystkie inne rzeczy są równe), biorąc pod uwagę, że dostarczanych jest więcej podstawowych danych o prawdzie. Właśnie pytałem o przykłady, w których, biorąc pod uwagę wybór między tymi dwoma, preferowany byłby częściowo nadzorowany. Twój komentarz ma sens, ale czy istnieje przypadek, w którym wszystkie dane są oznaczone i nadal wolisz częściowo nadzorowany?

— naught101

@ naught101 Wydaje mi się, że jeśli wszystkie dane są oznaczone, nie wygrywasz zbyt wiele, stosując uczenie częściowo nadzorowane zamiast normalnego uczenia nadzorowanego. Kiedy masz dużo nieoznaczonych danych i uczysz się częściowo pod nadzorem, głównym powodem, dla którego widzisz lepszą wydajność, jest to, że przenosisz uczenie się i jesteś w stanie czerpać doświadczenie z danych nieoznakowanych.

— HelloGoodbye,

@ naught101 Jednakże, powierzając sieci zadanie odtworzenia danych wejściowych tak dobrze, jak to możliwe z danych wyjściowych (tj. zaimplementowanie autoenkodera, który jest rodzajem uczenia bez nadzoru), sieć jest zmuszona nauczyć się dobrej reprezentacji danych. Może to działać jako rodzaj regularyzacji, co z kolei może okazać się korzystne. Być może może być niewielka korzyść ze stosowania uczenia częściowo nadzorowanego zamiast normalnego uczenia nadzorowanego, nawet jeśli wszystkie dane będą oznaczone. Jak duży jest ten efekt, nie wiem.

— HelloGoodbye,

Uczenie się bez nadzoru

Uczenie się bez nadzoru odbywa się wtedy, gdy nie ma dostępnych danych do szkolenia. Przykładami tego są często metody grupowania.

Nadzorowana nauka

W takim przypadku dane treningowe istnieją na podstawie danych oznaczonych. Problem, który rozwiązujesz tutaj, to często przewidywanie etykiet dla punktów danych bez etykiety.

Nauka częściowo nadzorowana

W takim przypadku wykorzystywane są zarówno dane oznaczone, jak i dane nieznakowane. Można to na przykład wykorzystać w sieciach głębokiego przekonania, w których niektóre warstwy uczą się struktury danych (bez nadzoru), a jedna warstwa służy do klasyfikacji (przeszkolona z danymi nadzorowanymi)

— Peter Smit
źródło

Nie sądzę, że nadzorowany / bez nadzoru to najlepszy sposób, aby o tym myśleć. W przypadku eksploracji podstawowych danych lepiej jest pomyśleć o tym, co próbujesz zrobić. Istnieją cztery główne zadania:

Prognoza. jeśli przewidujesz liczbę rzeczywistą, nazywa się to regresją. jeśli przewidujesz liczbę całkowitą lub klasę, nazywa się to klasyfikacją.
modelowanie. modelowanie jest takie samo jak przewidywanie, ale model jest zrozumiały dla ludzi. Sieci neuronowe i maszyny wektorów wspierających działają świetnie, ale nie wytwarzają zrozumiałych modeli [1]. drzewa decyzyjne i klasyczna regresja liniowa są przykładami łatwych do zrozumienia modeli.
podobieństwo. jeśli próbujesz znaleźć naturalne grupy atrybutów, nazywa się to analizą czynnikową. jeśli próbujesz znaleźć naturalne grupy obserwacji, nazywa się to grupowaniem.
stowarzyszenie. to bardzo przypomina korelację, ale dla ogromnych binarnych zestawów danych.

[1] Najwyraźniej Goldman Sachs stworzył mnóstwo wielkich sieci neuronowych do przewidywania, ale potem nikt ich nie zrozumiał, więc musieli napisać inne programy, aby spróbować wyjaśnić sieci neuronowe.

— Neil McGuigan
źródło

czy możesz podać więcej informacji na temat historii GS? (nie jestem pewien, dlaczego nie mogę skomentować twojego komentarza)

— YA

nie pamiętam dokładnie, gdzie to przeczytałem, ale oto kilka informacji na temat AI @ GS: hplusmagazine.com/2009/08/06/…

— Neil McGuigan

Mam wrażenie, że 1,2 opisuje naukę w nadzorowanym otoczeniu, a 3,4 przebywa w nadzorowanym otoczeniu. Ponadto: co jeśli szukasz podobieństw, aby przewidzieć? Czy to rozważane jest modelowanie?

— Pan Tsjolder,