Jaka jest różnica między uczeniem się a wnioskowaniem?

Prace naukowe dotyczące uczenia maszynowego często traktują uczenie się i wnioskowanie jako dwa oddzielne zadania, ale nie jest dla mnie jasne, co to za rozróżnienie. Na przykład w tej książce wykorzystują statystyki bayesowskie do obu rodzajów zadań, ale nie stanowią motywacji do takiego rozróżnienia. Mam kilka niejasnych pomysłów, co to może być, ale chciałbym zobaczyć solidną definicję, a być może także obalenie lub rozszerzenie moich pomysłów:

• Różnica między wnioskowaniem wartości zmiennych ukrytych dla określonego punktu danych a uczeniem się odpowiedniego modelu dla danych.
• Różnica między wyodrębnianiem wariancji (wnioskowanie) a uczeniem się niezmienniczości, aby móc wyodrębnić wariancje (poprzez naukę dynamiki przestrzeni wejściowej / procesu / świata).
• Neurobiologiczną analogią może być krótkotrwałe nasilenie / depresja (ślady pamięci) vs długotrwałe nasilenie / depresja.

Zgadzam się z odpowiedzią Neila G., ale być może to alternatywne sformułowanie pomaga również:

Rozważ ustawienie prostego modelu mieszanki Gaussa. Tutaj możemy myśleć o parametrach modelu jako o zestawie komponentów Gaussa modelu mieszanki (każdy z ich średnich i wariancji oraz waga każdego z nich w mieszance).

Biorąc pod uwagę zestaw parametrów modelu, wnioskowanie polega na rozpoznaniu, który komponent prawdopodobnie wygenerował jeden podany przykład, zwykle w formie „odpowiedzialności” za każdy komponent. Tutaj ukryte zmienne są tylko pojedynczym identyfikatorem, dla którego komponent wygenerował dany wektor, a my wnioskujemy, który komponent prawdopodobnie był. (W tym przypadku wnioskowanie jest proste, choć w bardziej złożonych modelach staje się dość skomplikowane).

Uczenie się jest procesem polegającym na identyfikowaniu parametrów modelu (lub rozkładu na parametry modelu), które najlepiej pasują do podanych danych: wybranie średnich, wariancji i wag Gaussa.

Algorytm uczenia się Expectation-Maximization można traktować jako przeprowadzanie wnioskowania dla zestawu szkoleniowego, a następnie uczenie się najlepszych parametrów, biorąc pod uwagę to wnioskowanie, a następnie powtarzanie. Wnioskowanie jest często stosowane w procesie uczenia się w ten sposób, ale ma również niezależne znaczenie, np. Wybór, który składnik wygenerował dany punkt danych w modelu mieszanki Gaussa, aby zdecydować o najbardziej prawdopodobnym stanie ukrytym w ukrytym modelu Markowa, przypisywać brakujące wartości w bardziej ogólnym modelu graficznym ...

Wnioskowanie polega na wybraniu konfiguracji opartej na pojedynczym wejściu. Nauka polega na wyborze parametrów na podstawie niektórych przykładów szkolenia.

W modelu opartym na energii (sposób patrzenia na prawie wszystkie architektury uczenia maszynowego) wnioskowanie wybiera konfigurację, aby zminimalizować funkcję energii przy zachowaniu ustalonych parametrów ; Uczenie wybiera parametry, aby zminimalizować funkcję strat .

Jak wskazuje sprzężonyprior, inni używają odmiennej terminologii do tego samego. Na przykład Bishop używa „wnioskowania” i „decyzji” odpowiednio do uczenia się i wnioskowania. Wnioskowanie przyczynowe oznacza uczenie się. Niezależnie od tego, które z nich wybierzesz, te dwa pojęcia są różne.

Neurologiczna analogia to wzór strzelających neuronów, to konfiguracja; zestaw sił łącza to parametry.

Wygląda to na klasyczne zamieszanie w języku lingwistycznym. OP wydaje się wykorzystywać terminologię podobną do neuronauki, gdzie oba te terminy mogą mieć różne konotacje. Ale ponieważ Cross Validated ogólnie zajmuje się statystykami i uczeniem się obróbki mechanicznej, postaram się odpowiedzieć na pytanie w oparciu o powszechne użycie tych terminów w tych dziedzinach.

W klasycznej statystyce wnioskowanie jest po prostu czynnością polegającą na zebraniu tego, co wiesz o próbce i wykonaniu matematycznego stwierdzenia na temat populacji, z której jest ona (miejmy nadzieję) reprezentatywna. Z kanonicznego podręcznika Caselli i Bergera (2002): „Przedmiot teorii prawdopodobieństwa jest podstawą, na której zbudowane są wszystkie statystyki ... dzięki tym modelom statystycy są w stanie wyciągać wnioski na temat populacji, wnioski oparte na badaniu tylko część całości ". Tak więc w statystyce wnioskowanie jest szczególnie związane z wartościami p, statystykami testów i rozkładami próbkowania itp.

Jeśli chodzi o naukę, myślę, że tabela z Wasserman's All of Statistics (2003) może być pomocna:

Dziwne, że nikt o tym nie wspominał, ale można wnioskować tylko w przypadkach, w których istnieje rozkład prawdopodobieństwa. Tutaj, aby zacytować Wiki, która cytuje słownik Oxford:

Wnioskowanie statystyczne jest procesem wykorzystywania analizy danych do wywnioskowania właściwości leżącego u podstaw rozkładu prawdopodobieństwa (Oxford Dictionary of Statistics)

https://en.wikipedia.org/wiki/Statistic_inference

W przypadku tradycyjnych sieci neuronowych, k-NN lub waniliowych maszyn SVM nie ma gęstości prawdopodobieństwa do oszacowania, ani założeń dotyczących jakiejkolwiek gęstości, a zatem nie ma tam wnioskowania statystycznego. Tylko szkolenie / nauka. Jednak w przypadku większości (wszystkich?) Procedur statystycznych można korzystać zarówno z wnioskowania ORAZ uczenia się, ponieważ procedury te zawierają pewne założenia dotyczące rozkładu populacji, o której mowa.