Co oznacza wynik Akaike Information Criterion (AIC) modelu?

Widziałem tu kilka pytań na temat tego, co to znaczy dla laików, ale są one dla mnie zbyt laikalne. Próbuję matematycznie zrozumieć, co oznacza wynik AIC.

Ale jednocześnie nie chcę rygorystycznego dowodu, który sprawiłby, że nie widziałbym ważniejszych punktów. Na przykład, jeśli byłby to rachunek różniczkowy, byłbym szczęśliwy z nieskończenie małymi, a gdyby to była teoria prawdopodobieństwa, byłbym szczęśliwy bez teorii miary.

Moja próba

czytając tutaj i mój własny zapis nutowy, jest kryterium AIC modelu dla zestawu danych w następujący sposób: gdzie jest liczbą parametrów modelu i ma wartość funkcji maksymalnego prawdopodobieństwa modelu na zestawie danych . $\text{AIC}_{m,D}$ $m$ $D$

{AIC}_{m, re} = 2) k_{m} - 2) \ln ({L.}_{m, re})

$\text{AIC}_{m,D} = 2k_m - 2 \ln(L_{m,D})$

k_{m}

$k_m$

m

$m$

L_{m, D}

$L_{m,D}$

m

$m$

D

$D$

Oto moje rozumienie tego, co powyższe implikuje:

m = \underset{θ}{arg max} Pr (re | θ)

$m = \underset{\theta}{\text{arg max}\,} \Pr(D|\theta)$

Tą drogą:

$k_m$ jest liczbą parametrów $m$ .
$L_{m,D} = \Pr(D|m) = \mathcal{L}(m|D)$ .

Przepiszmy teraz AIC:

\begin{aligned} {AIC}_{m, re} = & 2) k_{m} - 2) \ln ({L.}_{m, re}) \\ = & 2) k_{m} - 2) \ln (Pr (re | m)) \\ = & 2) k_{m} - 2) \log_{mi} (Pr (re | m)) \end{aligned}

$\begin{split} \text{AIC}_{m,D} =& 2k_m - 2 \ln(L_{m,D})\\ =& 2k_m - 2 \ln(\Pr(D|m))\\ =& 2k_m - 2 \log_e(\Pr(D|m))\\ \end{split}$

Oczywiście $\Pr(D|m)$ to prawdopodobieństwo zaobserwowania zestawu danych $D$ w modelu $m$ . Tak więc, im lepiej model $m$ pasuje do zestawu danych $D$ , tym większy staje się $\Pr(D|m)$ , a zatem mniejszy staje się termin $-2\log_e(\Pr(D|m))$ .

AIC wyraźnie nagradza modele, które pasują do ich zestawów danych (ponieważ mniejsze $\text{AIC}_{m,D}$ jest lepsze).

Z drugiej strony termin $2k_m$ wyraźnie karze modele większą liczbą parametrów, zwiększając $\text{AIC}_{m,D}$ .

Innymi słowy, AIC wydaje się środkiem, który:

Nagradza dokładne modele (te, które lepiej pasują do $D$ ) logarytmicznie. Np. Nagradza wzrost sprawności z $0.4$ do $0.5$ więcej niż nagradza wzrost sprawności z $0.8$ do $0.9$ . Jest to pokazane na poniższym rysunku.
Redukcja parametrów liniowo. Tak więc obniżenie parametrów z do jest nagradzane tak samo, jak nagradza zmniejszenie z do . $9$ $8$ $2$ $1$

Innymi słowy (ponownie), AIC definiuje kompromis między znaczeniem prostoty a znaczeniem sprawności .

Innymi słowy (ponownie), AIC wydaje się sugerować, że:

Znaczenie sprawności maleje.
Jednak znaczenie prostoty nigdy nie maleje, ale zawsze jest zawsze ważne.

P1: Ale pytanie brzmi: dlaczego powinniśmy przejmować się tym szczególnym kompromisem fitness-prostota?

Q2: Dlaczego i dlaczego ? Dlaczego nie po prostu: ie powinien być w widoku y być równie przydatnym do i powinien być w stanie służyć do względnego porównywania różnych modeli (po prostu nie jest skalowany przez ; czy tego potrzebujemy?). $2k$ $2 \log_e(\ldots)$

\begin{aligned} {AIC}_{m, re} = & 2) k_{m} - 2) \ln ({L.}_{m, re}) \\ = & 2) (k_{m} - \ln ({L.}_{m, re})) \\ \frac{{AIC}_{m, re}}{2)} = & k_{m} - \ln ({L.}_{m, re}) \\ {AIC}_{m, re, PROSTY} = & k_{m} - \ln ({L.}_{m, re}) \end{aligned}

$\begin{split} \text{AIC}_{m,D} =& 2k_m - 2 \ln(L_{m,D})\\ =& 2(k_m - \ln(L_{m,D}))\\ \frac{\text{AIC}_{m,D}}{2} =& k_m - \ln(L_{m,D})\\ \text{AIC}_{m,D,\text{SIMPLE}} =& k_m - \ln(L_{m,D})\\ \end{split}$

{AIC}_{m, D, SIMPLE}

$\text{AIC}_{m,D,\text{SIMPLE}}$

{AIC}_{m, D}

$\text{AIC}_{m,D}$

2

$2$

P3: Jak to się ma do teorii informacji? Czy ktoś mógłby to wywnioskować z teoretycznego początku informacji?

— jaskiniowiec
źródło

Co oznacza twoja notacja w ? Czy sugerujesz coś na temat wyboru modelu? To, co miałeś powyżej, tak naprawdę nie oznacza, że AIC wymaga wybrania modelu. Q2, jak mówisz, jest w pewnym sensie czymś dość arbitralnym, ale wynika z tego, że AIC jest szacunkiem dla rozbieżności Kullbacka-Leiblera, która również odnosi się do odpowiedzi na Q1 i nadaje pewne znaczenie takim wielkościom jak .

m = \arg max_{θ} P r (D | θ)

$m=\arg \max_\theta Pr(D|\theta)$

\exp (({AIC}_{m} - min ({AIC}_{1}, \dots, {AIC}_{M})) / 2)

$\exp((\text{AIC}_m-\min(\text{AIC}_1,\ldots,\text{AIC}_M))/2)$

— Björn

{arg max}_{θ} Pr (D | θ)

$\text{arg max}_{\theta} \Pr(D|\theta)$ oznacza szukanie wielu aż znajdziesz taki, który minimalizuje prawdopodobieństwo . Każdy jest krotką / wektor parametrów, które określa nasze model, który stara się wyjaśnić zestawu danych . Mówi więc w zasadzie: mamy zestaw danych , jakie jest prawdopodobieństwo, że został wygenerowany przez model sparametryzowany przez ? Nasz model jest zasadniczo który rozwiązuje ten problem maksymalizacji.

θ

$\theta$

Pr (D | θ)

$\Pr(D|\theta)$

θ

$\theta$

D

$D$

D

$D$

θ

$\theta$

m

$m$

θ

$\theta$

— jaskiniowiec

Przepraszam, ale czy przeglądasz wiele modeli (skoro piszesz ), czy mówisz o oszacowaniu maksymalnego prawdopodobieństwa ? Należy również zauważyć, że to prawdopodobieństwo pojawienia się danych w danym modelu i dla danych parametrów, a nie prawdopodobieństwo wygenerowania danych przez ten model sparametryzowany przez .

m = \dots

$m=\ldots$

\hat{θ} := \arg max_{θ} P_{given model} (D | θ)

$\hat{\theta} := \arg\max_\theta P_\text{given model}(D|\theta)$

P_{given model} (D | θ)

$P_\text{given model}(D|\theta)$

θ

$\theta$

— Björn

MLE mam na myśli. Ale próbuję tylko powiedzieć, że parametry tuple są tak kompleksowe, że definiują również model. Mogę też mieć wiele modeli, powiedzmy każdy z innym wynikiem AIC . Właśnie tworzę ten zapis, ponieważ myślę, że jest prostszy. Czy strasznie się mylę, czy niepotrzebnie mylę to? (i dziękuję za poprawienie mnie co oznacza MLE)

θ

$\theta$

m_{1}, m_{2}

$m_1,m_2$

{AIC}_{1}, {AIC}_{2}

$\text{AIC}_1, \text{AIC}_2$

— jaskiniowiec

Pochodna AIC jako przybliżenie oczekiwanej utraty informacji KL jest podana w Pawitan (2001), In All Likelihood , Ch 13.

— Scortchi - Reinstate Monica

Odpowiedzi:

To pytanie jaskiniowca jest popularne, ale od miesięcy nie próbowałem odpowiedzi, aż do mojego kontrowersyjnego . Może się zdarzyć, że faktyczna odpowiedź poniżej nie jest sama w sobie kontrowersyjna, tylko że pytania są „załadowanymi” pytaniami, ponieważ pole wydaje się (przynajmniej dla mnie) wypełnione przez akolitów AIC i BIC, którzy woleliby użyć OLS niż metody innych. Proszę spojrzeć na wszystkie wymienione założenia i ograniczenia na typy danych i metody analizy i skomentować je; napraw to, dodaj. Do tej pory przyczynili się bardzo mądrzy ludzie, więc postępy są powolne. Potwierdzam wkład Richarda Hardy'ego i GeoMatt22, miłe słowa Antoniego Parellady oraz mężne próby Cagdasa Ozgenc i Bena Ogorka, by powiązać rozbieżność KL z rzeczywistą rozbieżnością.

Zanim zaczniemy, przejrzyjmy, czym jest AIC, a jednym źródłem tego są Wymagania wstępne dla porównania modeli AIC, a innym jest Rob J Hyndman . W szczególności oblicza się, że AIC jest równe

2) k - 2) \log (L. (θ)),

$2k - 2 \log(L(\theta))\,,$

gdzie to liczba parametrów w modelu, a funkcja prawdopodobieństwa. AIC porównuje kompromis między wariancją ( ) a odchyleniem ( ) z założeń modelowania. Z faktów i błędów AIC , punkt 3 „AIC nie zakłada, że reszty są gaussowskie. Chodzi tylko o to, że prawdopodobieństwo Gaussa jest najczęściej używane. Ale jeśli chcesz użyć innej dystrybucji, śmiało”. AIC jest karanym prawdopodobieństwem, niezależnie od tego, jakie prawdopodobieństwo wybierzesz. Na przykład, aby rozwiązać AIC dla rozproszonych reszt Studenta-t, moglibyśmy zastosować rozwiązanie największego prawdopodobieństwa dla Studenta-t . The $k$ $L(\theta)$ $2k$ $2\log(L(\theta))$ log-prawdopodobieństwo zwykle stosowane dla AIC pochodzi z gaussowskiego prawdopodobieństwa log i podane przez

\log (L. (θ)) = - \frac{| re |}{2)} \log (2) π) - \frac{1}{2)} \log (| K. |) - \frac{1}{2)} (x - μ)^{T.} {K.}^{- 1} (x - μ),

$\log(L(\theta)) =-\frac{|D|}{2}\log(2\pi) -\frac{1}{2} \log(|K|) -\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu),$

$K$ jest strukturą kowariancji modelu,wielkość próby; liczba obserwacji w zestawach danych, średnia odpowiedź zmienna zależna. Należy pamiętać, że ściśle mówiąc, nie jest konieczne, aby AIC korygował wielkość próbki, ponieważ AIC nie jest używany do porównywania zestawów danych, a jedynie modele używające tego samego zestawu danych. Dlatego nie musimy badać, czy korekcja wielkości próbki jest wykonywana poprawnie, czy nie, ale musielibyśmy się o to martwić, gdybyśmy w jakiś sposób uogólnili AIC, aby był przydatny między zestawami danych. Podobnie wiele zrobiono na temat aby zapewnić asymptotyczną wydajność. Minimalistyczny widok może uznać AIC za „indeks”, dzięki czemu $|D|$ $\mu$ $x$ $K>>|D|>2$ $K>|D|$ odpowiednie ibez znaczenia. Jednak zwrócono na to uwagę w postaci zaproponowania zmienionego AIC dla niewiele większego niżzwany AIC patrz drugi akapit odpowiedzi na pytanie 2 poniżej. To mnożenie „miar” jedynie wzmacnia pogląd, że AIC jest indeksem. Jednak zaleca się ostrożność przy stosowaniu słowa „i”, ponieważ niektórzy zwolennicy AIC utożsamiają użycie słowa „indeks” z takim samym zamiłowaniem, jakie można przypisać określaniu ich ontogenezy jako pozamałżeńskiej. $K>>|D|$ $K$ $|D|$ $_c$

P1: Ale pytanie brzmi: dlaczego powinniśmy przejmować się tym szczególnym kompromisem fitness-prostota?

Odpowiedz w dwóch częściach. Najpierw konkretne pytanie. Powinieneś się tym przejmować tylko dlatego, że tak to zostało zdefiniowane. Jeśli wolisz, nie ma powodu, aby nie definiować CIC; kryterium informacji jaskiniowca, nie będzie to AIC, ale CIC dałoby takie same odpowiedzi jak AIC, nie wpływa to na kompromis między dobrością dopasowania a prostotą. Każda stała, która mogłaby zostać użyta jako mnożnik AIC, w tym jeden raz, musiałaby zostać wybrana i przestrzegana, ponieważ nie ma standardu odniesienia do egzekwowania skali bezwzględnej. Jednak przestrzeganie standardowej definicji nie jest arbitralne w tym sensie, że jest miejsce na jedną i tylko jedną definicję lub „konwencję” dla wielkości, takiej jak AIC, która jest zdefiniowana tylko w skali względnej. Zobacz także założenie nr 3 AIC poniżej.

Druga odpowiedź na to pytanie dotyczy specyfiki kompromisu AIC między dobrością dopasowania a prostotą bez względu na to, jak wybierany byłby jego stały mnożnik. To znaczy, co faktycznie wpływa na „kompromis”? Jedną z rzeczy, które na to wpływają, jest dostosowanie stopnia swobody do liczby parametrów w modelu, co doprowadziło do zdefiniowania „nowego” AIC o nazwie AIC w następujący sposób: $_c$

\begin{aligned} ZA ja {do}_{do} & = ZA ja do + \frac{2) k (k + 1)}{n - k - 1} \\ = \frac{2) k n}{n - k - 1} - 2) \ln (L.) \end{aligned},

$\begin{align}AIC_c &= AIC + \frac{2k(k + 1)}{n - k - 1}\\ &= \frac{2kn}{n-k-1} - 2 \ln{(L)}\end{align} \,,$

gdzie jest rozmiarem próbki. Ponieważ waga jest teraz nieco inna przy porównywaniu modeli o różnej liczbie parametrów, AIC wybiera modele inaczej niż sam AIC i identycznie jak AIC, gdy dwa modele są różne, ale mają tę samą liczbę parametrów. Inne metody również wybiorą modele w różny sposób, na przykład „BIC [sic, Bayesowskie kryterium informacyjne ] zasadniczo karze wolne parametry silniej niż kryterium informacyjne Akaike, choć zależy to ...” ANOVA karałaby również parametry nadliczbowe przy użyciu częściowych prawdopodobieństw niezbędność wartości parametrów w różny sposób, aw niektórych okolicznościach byłaby lepsza niż użycie AIC $n$ $_c$ . Ogólnie rzecz biorąc, każda metoda oceny odpowiedniości modelu będzie miała swoje zalety i wady. Moją radą byłoby przetestowanie wydajności dowolnej metody wyboru modelu pod kątem jej zastosowania w metodologii regresji danych bardziej energicznie niż testowanie samych modeli. Masz powód do wątpliwości? Tak, należy zachować ostrożność przy konstruowaniu lub wyborze dowolnego testu modelu, aby wybrać metody, które są odpowiednie metodologicznie. AIC jest przydatny do podzbioru ocen modeli, ponieważ patrz Q3, dalej. Na przykład wyodrębnianie informacji za pomocą modelu A można najlepiej przeprowadzić metodą regresji 1, a dla modelu B metodą 2 regresji, gdzie model B i metoda 2 czasami dają odpowiedzi niefizyczne, a żadna z metod regresji nie jest MLR,

P3 Jak to się ma do teorii informacji :

Założenie MLR nr 1. AIC opiera się na założeniach dotyczących możliwości maksymalnego prawdopodobieństwa (MLR) w przypadku problemu regresji. Jest tylko jedna okoliczność, w której zwykła regresja najmniejszych kwadratów i regresja maksymalnego prawdopodobieństwa zostały mi wskazane jako takie same. Byłoby to wtedy, gdy reszty z regresji liniowej zwykłego najmniejszego kwadratu (OLS) są normalnie rozkładane, a MLR ma funkcję straty Gaussa. W innych przypadkach regresji liniowej OLS, w przypadku nieliniowej regresji OLS i nie-gaussowskich funkcji strat, MLR i OLS mogą się różnić. Istnieje wiele innych celów regresji niż OLS lub MLR lub nawet dopasowanie, a często dobra odpowiedź ma niewiele wspólnego z jednym z nich, np. W przypadku większości odwrotnych problemów. Istnieje wiele cytowanych prób (np. 1100 razy) zastosowania uogólnionego AIC dla quasi-prawdopodobieństwa, tak aby zależność od regresji maksymalnego prawdopodobieństwa została złagodzona w celu dopuszczenia bardziej ogólnych funkcji strat . Ponadto MLR dla Studenta-t, choć nie w formie zamkniętej, jest zdecydowanie zbieżny . Ponieważ rozkłady resztkowe Studenta-t są zarówno bardziej powszechne, jak i bardziej ogólne niż warunki gaussowskie, włącznie z warunkami Gaussa, nie widzę żadnego specjalnego powodu, aby używać założenia Gaussa dla AIC.

Założenie MLR # 2. MLR jest próbą oceny dobroci dopasowania. Czasami jest stosowany, gdy nie jest odpowiedni. Na przykład w przypadku danych przyciętego zakresu, gdy używany model nie jest przycięty. Dobroć jest w porządku, jeśli mamy pełny zakres informacji. W szeregach czasowych zwykle nie mamy wystarczająco szybkich informacji, aby w pełni zrozumieć, jakie zdarzenia fizyczne zachodzą na początku, lub nasze modele mogą nie być wystarczająco kompletne, aby zbadać bardzo wczesne dane. Jeszcze bardziej niepokojące jest to, że często nie można przetestować dobroci dopasowania bardzo późno z powodu braku danych. Zatem dobroć dopasowania może modelować tylko 30% dopasowania powierzchni pod krzywą, w takim przypadku oceniamy model ekstrapolowany na podstawie tego, gdzie są dane, i nie badamy, co to oznacza. W celu ekstrapolacji musimy przyjrzeć się nie tylko dobremu dopasowaniu „kwot”, ale także pochodnym tych kwot, które zawodzą, a których nie mamy „dobroci” ekstrapolacji. Zatem techniki dopasowania, takie jak splajny B, znajdują zastosowanie, ponieważ mogą bardziej płynnie przewidzieć, jakie są dane, gdy pochodne są dopasowane, lub alternatywnie leczenie problemów odwrotnych, np. Źle postawione leczenie integralne w całym zakresie modeli, takie jak adaptacyjny błąd propagacji Tichonowa regularyzacja.

Kolejny skomplikowany problem, dane mogą nam powiedzieć, co powinniśmy z tym zrobić. To, czego potrzebujemy do dopasowania (w stosownych przypadkach), to mieć reszty, które są odległościami w tym sensie, że odchylenie standardowe jest odległością. Oznacza to, że dobroć dopasowania nie miałoby większego sensu, gdyby reszta, która jest dwa razy dłuższa niż pojedyncze odchylenie standardowe, nie miałaby również długości dwóch odchyleń standardowych. Wybór transformacji danych powinien zostać zbadany przed zastosowaniem dowolnej metody selekcji / regresji modelu. Jeśli w danych występuje błąd typu proporcjonalnego, zwykle logarytm przed wybraniem regresji nie jest niewłaściwy, ponieważ przekształca on odchylenia standardowe w odległości. Ewentualnie możemy zmienić normę, aby ją zminimalizować, aby uwzględnić dopasowanie danych proporcjonalnych. To samo dotyczy struktury błędów Poissona, możemy albo wziąć pierwiastek kwadratowy danych, aby znormalizować błąd, albo zmienić naszą normę dotyczącą dopasowania. Istnieją problemy, które są znacznie bardziej skomplikowane, a nawet trudne do rozwiązania, jeśli nie możemy zmienić normy dopasowania, np. Statystyki zliczania Poissona z rozpadu jądrowego, gdy rozpad radionuklidu wprowadza wykładniczy zależny od czasu związek między danymi zliczającymi a rzeczywistą masą, która miałaby emanowały te liczby, gdyby nie było rozkładu. Czemu? Jeśli zanikamy korekcję wsteczną wskaźników zliczania, nie mamy już statystyk Poissona, a reszty (lub błędy) z pierwiastka kwadratowego skorygowanych zliczeń nie są już odległościami. Jeśli zatem chcemy wykonać test dopasowania danych skorygowanych o rozkład (np. AIC), musielibyśmy to zrobić w sposób nieznany mojemu pokornemu ja. Otwarte pytanie do czytelników, jeśli nalegamy na użycie MLR, czy możemy zmienić jego normę, aby uwzględnić rodzaj błędu danych (pożądane), czy też musimy zawsze przekształcać dane, aby umożliwić użycie MLR (nie tak przydatne)? Uwaga: AIC nie porównuje metod regresji dla jednego modelu, porównuje różne modele dla tej samej metody regresji.

Założenie AIC nr 1. Wydaje się, że MLR nie ogranicza się do normalnych reszt, na przykład patrz pytanie o MLR i t-Studenta . Następnie załóżmy, że MLR jest odpowiedni do naszego problemu, abyśmy śledzili jego użycie do porównywania wartości AIC w teorii. Następnie zakładamy, że mają 1) pełną informację, 2) ten sam typ rozkładu reszt (np. Oba normalne, oba Studenta- t ) dla co najmniej 2 modeli. Oznacza to, że mamy wypadek, w którym dwa modele powinny mieć teraz rodzaj rozkładu reszt. Czy to może się zdarzyć? Tak, prawdopodobnie, ale na pewno nie zawsze.

Założenie AIC # 2. AIC dotyczy logarytmu ujemnego wielkości (liczby parametrów w modelu podzielonej przez dywergencję Kullbacka-Leiblera ). Czy to założenie jest konieczne? W dokumencie funkcji ogólnych strat stosuje się inną „dywergencję”. To prowadzi nas do pytania, czy ten inny środek jest bardziej ogólny niż rozbieżność KL, dlaczego nie używamy go również do AIC?

Niedopasowana informacja dla AIC z rozbieżności Kullbacka-Leiblera brzmi: „Chociaż ... często intuicyjnie jako sposób pomiaru odległości między rozkładami prawdopodobieństwa, rozbieżność Kullbacka-Leiblera nie jest prawdziwą miarą”. Zobaczymy dlaczego wkrótce.

Argument KL dochodzi do punktu, w którym różnica między dwiema rzeczami to model (P) i dane (Q)

{re}_{K. L.} (P. ‖ Q) = \int_{X} \log (\frac{re P.}{re Q}) \frac{re P.}{re Q} re Q,

$D_{\mathrm{KL}}(P\|Q) = \int_X \log\!\left(\frac{{\rm d}P}{{\rm d}Q}\right) \frac{{\rm d}P}{{\rm d}Q} \, {\rm d}Q \,,$

które uznajemy za entropię „P” w stosunku do „Q”.

Założenie AIC # 3. Większość formuł obejmujących rozbieżność Kullbacka-Leiblera obowiązuje niezależnie od podstawy logarytmu. Stały mnożnik może mieć większe znaczenie, jeśli AIC odnosi się jednocześnie do więcej niż jednego zestawu danych. Tak jak w przypadku porównywania metod, jeśli to jakakolwiek dodatnia liczba razy, która nadal będzie . Ponieważ jest to arbitralne, ustawienie stałej na określoną wartość z definicji nie jest również niewłaściwe. $AIC_{data,model 1}<AIC_{data,model 2}$ $<$

Założenie AIC # 4. To znaczy, że AIC mierzy entropię Shannona lub informacje o sobie . „Musimy wiedzieć, czy„ Czy entropia jest nam potrzebna do pomiaru informacji? ”

Aby zrozumieć, czym jest „samoinformacja”, obowiązkiem nas jest normalizacja informacji w kontekście fizycznym, co zrobi każdy. Tak, chcę, aby miara informacji miała właściwości fizyczne. Jak by to wyglądało w bardziej ogólnym kontekście?

Równanie swobodnej energii Gibbsa ( $\Delta G = ΔH – TΔS$ ) wiąże zmianę energii ze zmianą entalpii minus temperatura bezwzględna razy zmiana entropii. Temperatura jest przykładem udanego typu znormalizowanej zawartości informacyjnej, ponieważ jeśli jedna gorąca i jedna zimna cegła zostaną umieszczone w kontakcie ze sobą w zamkniętym termicznie środowisku, wówczas ciepło przepłynie między nimi. Teraz, jeśli wskoczymy na to, nie myśląc zbyt intensywnie, mówimy, że ciepło jest informacją. Ale czy to informacje względne, które przewidują zachowanie systemu. Informacja płynie aż do osiągnięcia równowagi, ale jaka jest równowaga? Temperatura, to nie jest ciepło, jak w prędkości cząstek o określonych masach, nie mówię o temperaturze cząsteczek, mówię o temperaturze brutto dwóch cegieł, które mogą mieć różne masy, wykonane z różnych materiałów, o różnych gęstościach itp., i nic z tego nie muszę wiedzieć, wszystko co muszę wiedzieć to to, że temperatura brutto jest tym, co równoważy. Zatem jeśli jedna cegła jest cieplejsza, to ma więcej względnej zawartości informacyjnej, a gdy jest zimniejsza, mniej.

Teraz, jeśli powiedziano mi, że jedna cegła ma więcej entropii niż druga, więc co? To samo w sobie nie pozwoli przewidzieć, czy zyska, czy straci entropię, gdy znajdzie się w kontakcie z inną cegłą. Czy zatem sama entropia jest użyteczną miarą informacji? Tak, ale tylko wtedy, gdy porównamy tę samą cegłę do siebie, a zatem termin „samoinformacja”.

Z tego wynika ostatnie ograniczenie: aby użyć rozbieżności KL, wszystkie cegły muszą być identyczne. Zatem to, co czyni AIC nietypowym indeksem, polega na tym, że nie można go przenosić między zestawami danych (np. Różnymi cegłami), co nie jest szczególnie pożądaną właściwością, którą można by rozwiązać poprzez normalizację zawartości informacji. Czy dywergencja KL jest liniowa? Może tak może nie. Nie ma to jednak znaczenia, nie musimy zakładać liniowości, aby użyć AIC, i na przykład sama entropia, jak sądzę, nie jest liniowo związana z temperaturą. Innymi słowy, nie potrzebujemy metryki liniowej do korzystania z obliczeń entropii.

Jednym z dobrych źródeł informacji na temat AIC jest ta teza . Po stronie pesymistycznej jest to powiedziane: „Wartość AIC dla danego zestawu danych nie ma znaczenia”. Z optymistycznego punktu widzenia wynika, że modele, które mają bliskie wyniki, można różnicować poprzez wygładzanie w celu ustalenia przedziałów ufności i wiele więcej.

— Carl
źródło

Czy możesz wskazać główną różnicę między nową odpowiedzią a starą usuniętą odpowiedzią? Wygląda na to, że nakładają się na siebie.

— Richard Hardy,

Byłem w trakcie edycji mojej odpowiedzi przez kilka godzin, kiedy została usunięta. Było wiele zmian w porównaniu do tego, kiedy zaczynałem, ponieważ była to praca w toku, wymagała dużo czytania i myślenia, a moi koledzy na tej stronie nie dbają o to, ale nic nie pomagają. AIC wydaje się zbyt dobry do krytycznej oceny, jak śmiesz? Skończyłem edycję i opublikowałem ją ponownie. Chcę wiedzieć, co jest nieprawidłowe w mojej odpowiedzi. Ciężko nad tym pracowałem, starałem się być prawdomówny i nikt inny się tym nie przejmował.

— Carl

Nie denerwuj się. Moje pierwsze doświadczenie tutaj było również frustrujące, ale później nauczyłem się zadawać pytania w odpowiedni sposób. Utrzymanie neutralnego tonu i unikanie silnych opinii, które nie są oparte na twardych faktach, byłoby dobrym pierwszym krokiem, IMHO. (Nawiasem mówiąc, głosowałem za twoim pytaniem, ale nadal waham się nad odpowiedzią.)

— Richard Hardy,

+1 Tylko dla twojej preambuły. Teraz będę dalej czytał odpowiedź.

— Antoni Parellada,

@AntoniParellada Pomogłeś tylko przez to, że pytanie nie zostało usunięte, co doceniam. Praca przez AIC była trudna i potrzebuję pomocy. Pewnie niektóre z moich spostrzeżeń są dobre, ale mam też chorobę kopyt w jamie ustnej, którą inne umysły lepiej chwytają niż ja.

— Carl,

AIC jest szacunkiem dwukrotności addytywnego modelu dodatku do oczekiwanej rozbieżności Kullbacka-Leiblera między rzeczywistym rozkładem a aproksymacyjnym modelem parametrycznym . $f$ $g$

Rozbieżność KL jest tematem w teorii informacji i działa intuicyjnie (choć nie rygorystycznie) jako miara odległości między dwoma rozkładami prawdopodobieństwa. W poniższym wyjaśnieniu odnoszę się do tych slajdów z Shuhua Hu. Ta odpowiedź wciąż wymaga cytowania „kluczowego wyniku”.

Rozbieżność KL między prawdziwym modelem a modelem przybliżonym wynosi $f$ $g_{\theta}$

re (fa, {sol}_{θ}) = \int fa (x) \log (fa (x)) re x - \int fa (x) \log ({sol}_{θ} (x)) re x

$d(f, g_{\theta}) = \int f(x) \log(f(x)) dx -\int f(x) \log(g_{\theta}(x)) dx$

Ponieważ prawda jest nieznana, dane są generowane na podstawie a oszacowanie maksymalnego prawdopodobieństwa daje estymator . Zastąpienie przez w powyższych równaniach oznacza, że zarówno drugi składnik we wzorze dywergencji KL, jak i sama dywergencja KL są teraz zmiennymi losowymi. „Kluczowy wynik” na slajdach polega na tym, że średnią drugiego składnika addytywnego w odniesieniu do można oszacować za pomocą prostej funkcji funkcji prawdopodobieństwa (obliczonej w MLE), a , wymiar : $y$ $f$ $\hat{\theta}(y)$ $\theta$ $\hat{\theta}(y)$ $y$ $L$ $k$ $\theta$

- {mi}_{y} [\int fa (x) \log ({sol}_{\hat{θ} (y)} (x)) re x] \approx - \log (L. (\hat{θ} (y))) + k .

$-\text{E}_y\left[\int f(x) \log(g_{\hat{\theta}(y)}(x)) \, dx \right] \approx -\log(L(\hat{\theta}(y))) + k.$

AIC definiuje się jako dwukrotność oczekiwanego powyżej (HT @Carl), a mniejsze (bardziej ujemne) wartości odpowiadają mniejszej szacowanej dywergencji KL między rozkładem rzeczywistym a rozkładem modelowanym . $f$ $g_{\hat{\theta}(y)}$

— Ben Ogorek
źródło

Jak wiecie, termin dewiacja w przypadku prawdopodobieństwa log jest żargonem i niedokładny. Pominąłem dyskusję na ten temat, ponieważ wymagana jest tylko monotoniczność, aby różnice AIC miały wartość porównawczą, a nie liniowość. Nie widzę więc sensu zbytniego wysiłku „wizualizacji” czegoś, co prawdopodobnie nie istnieje i nie jest potrzebne.

— Carl

Rozumiem twój punkt widzenia, że ostatni akapit dodaje czerwonego śledzia i zdaję sobie sprawę, że nikt nie musi być przekonany, że 2 * x oznacza to samo co x. Czy uczciwie byłoby powiedzieć, że ilość jest pomnożona przez 2 „zgodnie z konwencją”?

— Ben Ogorek,

Coś w tym stylu. Osobiście głosowałbym za „jest zdefiniowany jako”, ponieważ początkowo został wybrany w ten sposób. Lub, mówiąc inaczej, w perspektywie czasowej, każda stała, która mogłaby zostać użyta, w tym jeden raz, musiałaby zostać wybrana i przestrzegana, ponieważ nie istnieje żaden wzorzec odniesienia do egzekwowania skali.

— Carl

Prosty punkt widzenia na pierwsze dwa pytania jest taki, że AIC jest związany z oczekiwanym poziomem błędu poza próbą modelu maksymalnego prawdopodobieństwa. Kryterium AIC oparte jest na zależności (elementy równania uczenia statystycznego 7.27) gdzie, zgodnie z notacją, jest liczbą parametrów w modelu których maksymalna wartość prawdopodobieństwa wynosi .

- 2) mi [\ln P. r (re | θ)] \approx - \frac{2)}{N.} mi [\ln {L.}_{m, re}] + \frac{2) k_{m}}{N.} = \frac{1}{N.} mi [{ZA ja do}_{m, re}]

$-2 \, \mathrm{E}[\ln \mathrm{Pr}(D|\theta)] \approx -\frac{2}{N} \, \mathrm{E}[\ln L_{m,D}] + \frac{2k_m}{N} = \frac{1}{N} E[\mathrm{AIC}_{m,D}]$

k_{m}

$k_m$

m

$m$

L_{m, D}

$L_{m,D}$

Pojęcie po lewej to oczekiwany wskaźnik „błędu” poza próbą modelu największego prawdopodobieństwa , wykorzystujący logarytm prawdopodobieństwa jako miarę błędu. Współczynnik -2 jest tradycyjną korektą stosowaną do konstruowania dewiacji (przydatne, ponieważ w niektórych sytuacjach następuje rozkład chi-kwadrat). $m = \{ \theta \}$

Prawa ręka składa się ze wskaźnika „błędu” w próbie oszacowanego na podstawie maksymalnego prawdopodobieństwa logarytmicznego, a także terminu korygującego optymizm maksymalizowanego prawdopodobieństwa logarytmicznego, który ma swobodę do nieco przewyższania danych. $2k_m/N$

Zatem AIC jest oszacowanie „ERROR” (odchyleń stóp) razy out-of-próbki . $N$

— jwimberley
źródło