Wnioskowanie a szacowanie?

Jakie są różnice między „wnioskowaniem” a „szacowaniem” w kontekście uczenia maszynowego ?

Jako początkujących, czuję, że możemy wywnioskować zmiennych losowych i oszacowanie parametrów modelu. Czy moje zrozumienie jest słuszne?

Jeśli nie, jakie dokładnie są różnice i kiedy powinienem użyć którego?

Który też jest synonimem „uczenia się”?

Wnioskuje się statystycznie cały zbiór wniosków, które można wyciągnąć z danego zestawu danych i powiązanego modelu hipotetycznego, w tym dopasowanie wspomnianego modelu. Cytat z Wikipedii :

Wnioskowanie to czynność lub proces wyciągania logicznych wniosków z przesłanek znanych lub uznanych za prawdziwe.

i,

Wnioskowanie statystyczne wykorzystuje matematykę do wyciągania wniosków w obliczu niepewności.

Oszacowanie jest tylko jednym aspektem wnioskowania, w którym zastępuje się nieznane parametry (związane z hipotetycznym modelem, który wygenerował dane) optymalnymi rozwiązaniami opartymi na danych (i ewentualnie wcześniejszą informację o tych parametrach). Powinno to zawsze wiązać się z oceną niepewności zgłaszanych szacunków, która stanowi integralną część wnioskowania.

Maksymalne prawdopodobieństwo jest jednym z przykładów oszacowania, ale nie obejmuje całości wnioskowania. Przeciwnie, analiza bayesowska oferuje kompletną maszynę wnioskowania.

O ile estymacja sama w sobie ma na celu uzyskanie wartości nieznanych parametrów (np. Współczynników w regresji logistycznej lub w rozdzielającej hiperpłaszczyźnie w maszynach wektorów nośnych), wnioskowanie statystyczne próbuje dołączyć miarę niepewności i / lub stwierdzenie prawdopodobieństwa do wartości parametrów (błędy standardowe i przedziały ufności). Jeśli model przyjęty przez statystykę jest w przybliżeniu poprawny, to pod warunkiem, że nowe przychodzące dane będą nadal zgodne z tym modelem, stwierdzenia niepewności mogą zawierać w sobie pewną prawdę i stanowić miarę tego, jak często popełniamy błędy w używaniu model do podejmowania decyzji.

$\mu$$\sigma^2$$\mu$$\sigma^2/n$

Uczenie maszynowe najbliżej tego jest walidacja krzyżowa, gdy próbka jest dzielona na część szkoleniową i części walidacyjne, przy czym ta ostatnia skutecznie mówi: „jeśli nowe dane wyglądają jak stare dane, ale są całkowicie niezwiązane z danymi, które został użyty do konfiguracji mojego modelu, wtedy realistyczna miara poziomu błędu jest taka i taka ". Wywodzi się to w pełni empirycznie, uruchamiając ten sam model na danych, zamiast próbować wywnioskować właściwości modelu, przyjmując założenia statystyczne i uwzględniając wyniki matematyczne, takie jak powyższy CLT. Prawdopodobnie jest to bardziej uczciwe, ale ponieważ zużywa mniej informacji, a zatem wymaga większych próbek. Ponadto domyślnie zakłada, że ​​proces się nie zmienia,

Chociaż wyrażenie „wnioskowanie z tyłu” może mieć sens (nie jestem Bayesianinem, nie jestem w stanie powiedzieć, jaka jest przyjęta terminologia), nie sądzę, aby w podejmowaniu jakichkolwiek założeń na tym etapie wnioskowania było wiele zaangażowanych. Wszystkie założenia bayesowskie są (1) we wcześniejszym i (2) w przyjętym modelu, a po ich skonfigurowaniu tylny następuje automatycznie (przynajmniej teoretycznie poprzez twierdzenie Bayesa; praktyczne kroki mogą być bardzo skomplikowane i Sipps Hazard ... przepraszam, pobieranie próbek Gibbsa może być względnie łatwym elementem dostania się do tylnej części ciała). Jeśli „wnioskowanie z tyłu” odnosi się do (1) + (2), to jest to dla mnie smak statystycznego wnioskowania. Jeśli (1) i (2) podano osobno, a następnie „wnioskowanie z tyłu” jest czymś innym, to nie

Załóżmy, że masz reprezentatywną próbę populacji.

Wnioskowanie polega na wykorzystaniu tej próbki do oszacowania modelu i stwierdzeniu, że wyniki można rozszerzyć na całą populację z pewną dokładnością. Wnioskowanie polega na przyjmowaniu założeń dotyczących populacji przy użyciu tylko reprezentatywnej próby.

Oszacowanie ma miejsce, gdy wybierzesz model pasujący do próbki danych i obliczysz z pewną dokładnością parametry tego modelu. Nazywa się to szacowaniem, ponieważ nigdy nie będziesz w stanie obliczyć prawdziwych wartości parametrów, ponieważ masz tylko próbkę danych, a nie całą populację.

Jest to próba udzielenia odpowiedzi każdemu, kto nie ma doświadczenia w statystyce. Dla tych, którzy są zainteresowani bardziej szczegółami, istnieje wiele przydatnych odniesień ( na przykład ten ) na ten temat.

Krótka odpowiedź:

$->$

$->$ wykorzystaj rozkład prawdopodobieństwa przedmiotu zainteresowania, aby wyciągnąć wnioski probabilistyczne

Długa odpowiedź:

Termin „oszacowanie” jest często używany do opisania procesu znalezienia oszacowania dla nieznanej wartości, podczas gdy „wnioskowanie” często odnosi się do wnioskowania statystycznego, procesu odkrywania rozkładów (lub charakterystyk) zmiennych losowych i wykorzystywania ich do wyciągania wniosków.

Zastanów się, jak odpowiedzieć na pytanie: jak wysoka jest przeciętna osoba w moim kraju?

Jeśli zdecydujesz się znaleźć oszacowanie, możesz spacerować przez kilka dni i mierzyć nieznajomych, których spotkasz na ulicy (utworzyć próbkę), a następnie obliczyć swoje oszacowanie, na przykład jako średnią z próby. Właśnie dokonałeś oszacowania!

Z drugiej strony możesz chcieć znaleźć więcej niż jakieś dane szacunkowe, które, jak wiesz, są pojedynczymi liczbami i na pewno są błędne. Możesz starać się odpowiedzieć na to pytanie z pewną pewnością, na przykład: Jestem w 99% pewien, że średni wzrost osoby w moim kraju wynosi od 1,60 m do 1,90 m.

Aby wysunąć takie twierdzenie, musisz oszacować rozkład wysokości osób, z którymi się spotykasz, i wyciągnąć wnioski na podstawie tej wiedzy - która jest podstawą wnioskowania statystycznego.

Kluczową rzeczą, o której należy pamiętać (jak wskazano w odpowiedzi Xi'ana) jest to, że znalezienie estymatora jest częścią wnioskowania statystycznego.

Cóż, są dziś ludzie z różnych dyscyplin, którzy rozwijają swoją karierę w dziedzinie ML i prawdopodobnie mówią nieco innymi dialektami.

Jednak niezależnie od użytych terminów, koncepcje są odmienne. Dlatego ważne jest, aby wyjaśnić te pojęcia, a następnie przetłumaczyć te dialekty w sposób, który preferujesz.

Na przykład.

W PRML autorstwa Bishopa,

etap wnioskowania, w którym wykorzystujemy dane szkoleniowe do nauki modelu $p(C_k|x)$

Wygląda więc na to, że tutaj Inference= Learning=Estimation

Ale w innych materiałach wnioskowanie może różnić się od oszacowania, gdzie inferenceoznacza predictionwhile estimation, ale procedurę uczenia się parametrów.

W kontekście uczenia maszynowego wnioskowanie odnosi się do odkrycia ustawień ukrytych (ukrytych) zmiennych na podstawie twoich obserwacji. Obejmuje to również określenie tylnego rozkładu ukrytych zmiennych. Oszacowanie wydaje się być powiązane z „oszacowaniem punktowym”, które ma na celu określenie parametrów modelu. Przykłady obejmują oszacowanie maksymalnego prawdopodobieństwa. W maksymalizacji oczekiwań (EM) na etapie E wnioskujesz. W kroku M dokonujesz oszacowania parametru.

Wydaje mi się, że słyszę ludzi mówiących „wywnioskuj rozkład tylny” bardziej niż „oszacuj rozkład tylny”. Ten ostatni nie jest używany w zwykłym dokładnym wnioskowaniu. Stosuje się go na przykład w propagacji oczekiwań lub wariacyjnych odmianach Bayesa, gdzie wnioskowanie o dokładności tylnej jest trudne i należy przyjąć dodatkowe założenia dotyczące tylnej. W tym przypadku wywnioskowany tył jest przybliżony. Ludzie mogą powiedzieć „przybliżenie tylnej” lub „oszacowanie tylnej”.

Wszystko to jest tylko moja opinia. To nie jest reguła.

Chcę dodać do odpowiedzi innych, rozwijając część „wnioskowanie”. W kontekście uczenia maszynowego interesującym aspektem wnioskowania jest oszacowanie niepewności. Generalnie jest to trudne w przypadku algorytmów ML: jak umieścić standardowe odchylenie na etykiecie klasyfikacyjnej, którą wypluwa sieć neuronowa lub drzewo decyzyjne? W tradycyjnych statystykach założenia dystrybucyjne pozwalają nam na matematykę i wymyślenie, jak ocenić niepewność parametrów. W ML może nie być żadnych parametrów, żadnych założeń dystrybucyjnych lub żadnego.

Poczyniono pewne postępy na tych frontach, niektóre bardzo niedawno (nowsze niż obecne odpowiedzi). Jedną z opcji jest, jak wspomnieli inni, analiza bayesowska, w której twój tył daje oszacowania niepewności. Metody typu bootstrap są dobre. Stefan Wager i Susan Athey z Stanford mają trochę pracy z ostatnich kilku lat, starając się wnioskować o przypadkowych lasach . Analitycznie BART jest metodą zespołu drzewa bayesowskiego, która daje a posteriorę, z której można wyciągnąć wnioski.