Skąd wziął się termin „nauczyć się modelu”

Często słyszałem, że tutaj górnicy danych używają tego terminu. Jako statystyk, który pracował nad problemami z klasyfikacją, znam pojęcie „trenuj klasyfikatora” i zakładam, że „ucz się modelu” oznacza to samo. Nie mam nic przeciwko określeniu „szkolić klasyfikatora”. To wydaje się przedstawiać ideę dopasowania modelu, ponieważ dane szkoleniowe są wykorzystywane do uzyskania dobrych lub „ulepszonych” oszacowań parametrów modelu. Ale nauczą się, jak zdobyć wiedzę. Mówiąc wprost, „ucz się modelu” oznaczałoby wiedzieć, co to jest. Ale tak naprawdę nigdy nie „znamy” modelu. Modele przybliżają rzeczywistość, ale żaden model nie jest poprawny. To tak, jak Box powiedział: „Żaden model nie jest poprawny, ale niektóre są przydatne”.

Chciałbym usłyszeć odpowiedź minerów danych. Jak powstał ten termin? Jeśli go używasz, dlaczego go lubisz?

Podejrzewam, że jego początki pochodzą ze społeczności zajmującej się badaniami sztucznej sieci neuronowej, gdzie sieć neuronowa może być postrzegana jako nauka modelu danych poprzez modyfikację ciężarów synaptycznych w podobny sposób, jak to dzieje się w ludzkim mózgu, gdy sami uczymy się od doświadczenie. Moja kariera naukowa rozpoczęła się w sztucznych sieciach neuronowych, więc czasami używam tego wyrażenia.

Być może ma to większy sens, jeśli myślisz, że model jest zakodowany w parametrach modelu, a nie w równaniu, w taki sam sposób, w jaki model mentalny nie jest możliwym do zidentyfikowania fizycznym składnikiem mózgu, a jedynie zestawem parametrów ustawienia niektórych naszych neuronów.

Zauważ, że nie ma to wpływu na to, że model mentalny jest koniecznie poprawny!

Termin ten jest dość stary w sztucznej inteligencji. Turing poświęcony długi rozdział „Uczenie Maszyn” w jego 1950 Computing Machinery i inteligencja papieru w pamięci , a jakościowo nakreśla nadzorowanego uczenia się. Oryginalny artykuł Rosenblatta: Perceptron: probabilistyczny model przechowywania i organizacji informacji w dokumencie Brain z 1958 r. Mówi obszernie o „matematycznym modelu uczenia się”. Tutaj perceptron był „modelem uczenia się”; modele nie zostały „wyuczone”.

Artykuł Pittsa i McCullougha z 1943 r. - oryginalny artykuł o „sieciach neuronowych” - nie był tak naprawdę zainteresowany nauką, a bardziej, jak zbudować logiczny rachunek różniczkowy (jak system Hilberta lub Gentzen, ale myślę, że odnoszą się do Russella / Whitehead), który mógł wykonać wnioskowanie. Myślę, że to właśnie artykuł „Perceptrons” wprowadził numeryczne, w przeciwieństwie do symbolicznego pojęcia uczenia się w tej tradycji.

Czy maszyna może nauczyć się grać w szachy na podstawie przykładów? Tak. Czy ma model do gry w szachy? Tak. Czy to model optymalny (zakładając, że taki istnieje)? Prawie na pewno nie. Mówiąc wprost, „nauczyłem się szachów”, jeśli potrafię grać w szachy, dobrze - a może całkiem nieźle. To nie znaczy, że jestem optymalnym szachistą. W tym sensie Turing opisywał „uczenie się”, kiedy omawiał naukę gry w szachy w swoim artykule.

Jestem bardzo niespójny z tym terminem, którego używam. Tak więc (na przykład) w przypadku uczenia się na granicy powiedziałbym „zidentyfikuj”, w przypadku uczenia się SVM powiedziałbym „trenuj”, ale w przypadku MCMC „uczenia się” powiedziałbym „optymalizuj”. I np. Po prostu nazywam regresję „regresją”.

Jako badacz w Bioplausible Machine Learning zdecydowanie zgadzam się z tym, że „żaden model nie jest poprawny, ale niektóre są przydatne”, a w rzeczywistości modele i formalizmy mają poważne niepowodzenia, jak to stosują autorzy, którzy mówią o optymalizacji problemu, kiedy robią to, co robią optymalizuje model, tj. eksploruje przestrzeń parametrów i znajduje lokalne lub miejmy nadzieję globalne optimum. Zasadniczo nie jest to optymalne rozwiązanie dla prawdziwego problemu. Podczas gdy twórca modelu zwykle używa właściwej terminologii i ujawnia wszystkie założenia, większość użytkowników omija założenia, o których najczęściej wiadomo, że ich nie ma, a także używa mniej precyzyjnego języka o „uczeniu się” i „optymalizacji” i „ parametryzacja ”.

Myślę, że ta optymalna parametryzacja modelu jest tym, co ludzie mieliby na myśli w uczeniu maszynowym, szczególnie w nadzorowanym uczeniu maszynowym, chociaż nie mogę powiedzieć, że słyszałem „uczenie się modelu” bardzo często - ale zdarza się, a osoba ta trenuje model, komputer uczy się parametrów modelu. Nawet w uczeniu się bez nadzoru „uczenie się” jest najczęściej po prostu parametryzacją modelu, a miejmy nadzieję, że „uczenie się modelu” jest optymalną parametryzacją modelu (chociaż często różne sposoby przeszukiwania przestrzeni parametrów znajdują różne rozwiązania, nawet jeśli można je udowodnić zoptymalizować to samo). Rzeczywiście wolałbym użyć „szkolenia modelu”

W rzeczywistości większość moich badań dotyczy uczenia się modelu w zakresie odkrywania lepszego modelu lub modelu bardziej wykonalnego obliczeniowo i poznawczo / biologicznie / ekologicznie.