Jakie jest teoretyczne uzasadnienie dla bayesowskich wiarygodnych procedur interwałów?

(Aby zobaczyć, dlaczego to napisałem, sprawdź komentarze poniżej mojej odpowiedzi na to pytanie ).

Błędy typu III i teoria decyzji statystycznych

Udzielenie prawidłowej odpowiedzi na złe pytanie jest czasem nazywane błędem typu III. Statystyczna teoria decyzji jest formalizacją procesu decyzyjnego w warunkach niepewności; zapewnia ramy koncepcyjne, które mogą pomóc w uniknięciu błędów typu III. Kluczowym elementem frameworka jest funkcja straty . Przyjmuje dwa argumenty: pierwszy to (odpowiedni podzbiór) prawdziwy stan świata (np. W problemach z szacowaniem parametrów prawdziwa wartość parametru ); drugi jest elementem w zestawie możliwych działań (np. w problemach z oszacowaniem parametrów, estimateθ$\theta$$\hat{\theta})$. Wyjście modeluje stratę związaną z każdym możliwym działaniem w odniesieniu do każdego możliwego prawdziwego stanu świata. Na przykład w problemach z oszacowaniem parametrów niektóre dobrze znane funkcje strat to:

• bezwzględna utrata błędów$L(\theta, \hat{\theta}) = |\theta - \hat{\theta}|$
• kwadratowa utrata błędów$L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2$
• Hal Varian 's LINEX loss$L(\theta, \hat{\theta}; k) = \exp(k(\theta - \hat{\theta})) - k(\theta - \hat{\theta}) - 1,\text{ } k \ne0$

Analiza odpowiedzi w celu znalezienia pytania

Istnieje przypadek, w którym można próbować uniknąć błędów typu III, koncentrując się na sformułowaniu prawidłowej funkcji straty i przejściu przez resztę podejścia opartego na teorii decyzji (nie wyszczególnione tutaj). To nie jest moje krótkie - w końcu statystycy są dobrze wyposażeni w wiele technik i metod, które działają dobrze, nawet jeśli nie wywodzą się z takiego podejścia. Wydaje mi się jednak, że końcowy wynik jest taki, że zdecydowana większość statystyk nie wie i nie przejmuje się teorią decyzji statystycznych i myślę, że ich brakuje. Tym statystykom argumentowałbym, że powodem, dla którego mogą uznać teorię decyzji statystycznych za wartościową pod względem uniknięcia błędu typu III, jest to, że zapewnia ona ramy, w których można zapytać o każdą proponowaną procedurę analizy danych:z jaką funkcją straty (jeśli występuje) optymalnie radzi sobie procedura? Czyli w jakiej konkretnie sytuacji decyzyjnej stanowi najlepszą odpowiedź?

Spodziewana strata tylna

Z perspektywy bayesowskiej wystarczy funkcja straty. Możemy bardzo dużo pominąć resztę teorii decyzji - niemal z definicji, najlepszą rzeczą do zrobienia jest, aby zminimalizować posterior oczekiwana strata, to znaczy znaleźć akcję który minimalizuje .$a$$\tilde{L}(a) = \int_{\Theta}L(\theta, a)p(\theta|D)d\theta$

(A jeśli chodzi o perspektywy nie Bayesowskie? Cóż, twierdzenie częstokroć teorii decyzji - a konkretnie Twierdzenia Kompletnej Klasy Walda - że optymalnym działaniem zawsze będzie minimalizowanie bocznej oczekiwanej straty Bayesa względem niektórych (być może niewłaściwych) Trudność z tym wynikiem polega na tym, że jest to twierdzenie o istnieniu, które nie daje wskazówek co do tego, przed użyciem, ale owocnie ogranicza klasę procedur, które możemy „odwrócić”, aby dowiedzieć się, jakie dokładnie jest to pytanie, że jesteśmy w szczególności, pierwszym krokiem w odwróceniu dowolnej procedury nie bayesowskiej jest ustalenie, która (jeśli w ogóle) procedura bayesowska powiela lub przybliża.)

Hej Cyan, wiesz, że to jest strona z pytaniami i odpowiedziami, prawda?

Co prowadzi mnie - wreszcie - do pytania statystycznego. W statystyce bayesowskiej, gdy podaje się oszacowania przedziałów dla parametrów jednowymiarowych, dwie popularne procedury przedziałów wiarygodności to wiarygodny przedział oparty na kwantach i wiarygodny przedział o największej gęstości tylnej. Jakie funkcje utraty powodują te procedury?

W estymacji interwału jednowymiarowego zestawem możliwych działań jest zestaw uporządkowanych par określających punkty końcowe interwału. Niech element tego zestawu będzie reprezentowany przez .$(a, b),\text{ } a \le b$

Najwyższe odstępy gęstości tylnej

Niech tylna gęstość będzie . Najwyższe przedziały gęstości tylnej odpowiadają funkcji straty, która karze przedział, który nie zawiera prawdziwej wartości, a także penalizuje przedziały proporcjonalnie do ich długości:$f(\theta)$

$L_{HPD}(\theta, (a, b); k) = I(\theta \notin [a, b]) + k(b – a), \text{} 0 < k \le max_{\theta} f(\theta)$ ,

gdzie jest funkcją wskaźnika . Daje to oczekiwaną utratę tylnej$I(\cdot)$

$\tilde{L}_{HPD}((a, b); k) = 1 - \Pr(a \le \theta \le b|D) + k(b – a)$ .

Ustawienie daje warunek konieczny dla lokalne optimum we wnętrzu przestrzeni parametrów: - dokładnie reguła dla przedziałów HPD, zgodnie z oczekiwaniami.f(a)=f(b)=$\frac{\partial}{\partial a}\tilde{L}_{HPD} = \frac{\partial}{\partial b}\tilde{L}_{HPD} = 0$$f(a) = f(b) = k$

Forma daje pewien wgląd w to, dlaczego przedziały HPD nie są niezmienne dla monotonicznego wzrostu parametru. -kosmiczna HPD przedział przekształcony przestrzeni jest różne od -kosmiczna HPD przedział ponieważ dwa okresy odpowiadają różne funkcje straty: the -kosmiczna HPD odstęp odpowiada kara za przekształconą długość .g(θ)θg(θ)g(θ)g(θ)k(g(b)-g(a)$\tilde{L}_{HPD}((a, b); k)$$g(\theta)$$\theta$$g(\theta)$$g(\theta)$$g(\theta)$$k(g(b) – g(a))$

Wiarygodne przedziały oparte na kwantach

Rozważ oszacowanie punktu za pomocą funkcji straty

$L_q(\theta, \hat{\theta};p) = p(\hat{\theta} - \theta)I(\theta < \hat{\theta}) + (1-p)(\theta - \hat{\theta})I(\theta \ge \hat{\theta}), \text{ } 0 \le p \le 1$ .

Następna oczekiwana strata to

$\tilde{L}_q(\hat{\theta};p)=p(\hat{\theta}-\text{E}(\theta|\theta < \hat{\theta}, D)) + (1 - p)(\text{E}(\theta | \theta \ge \hat{\theta}, D)-\hat{\theta})$ .

Ustawienie daje niejawne równanie$\frac{d}{d\hat{\theta}}\tilde{L}_q=0$

$\Pr(\theta < \hat{\theta}|D) = p$ ,

to znaczy optymalny jest % kwantylem rozkładu tylnego, zgodnie z oczekiwaniami. (100s$\hat{\theta}$$(100p)$

Tak więc, aby uzyskać oszacowania przedziałów oparte na kwantylu, funkcją straty jest

$L_{qCI}(\theta, (a,b); p_L, p_U) = L_q(\theta, a;p_L) + L_q(\theta, b;p_U)$ .

Odstępy minimalnego rozmiaru

Jednym oczywistym wyborem funkcji straty do wyboru przedziału (zarówno bayesowskiego, jak i częstokształtnego) jest użycie wielkości przedziałów mierzonych w kategoriach rozkładów krańcowych. Dlatego zacznij od żądanej właściwości lub funkcji straty i uzyskaj optymalne odstępy czasu. Tak się zwykle nie dzieje, czego przykładem jest niniejsze pytanie, nawet jeśli jest to możliwe. W przypadku wiarygodnych zbiorów bayesowskich odpowiada to zminimalizowaniu wcześniejszego prawdopodobieństwa interwału lub maksymalizacji względnego przekonania, np. Jak przedstawiono w Evans (2016). Rozmiar może być również wykorzystany do wybrania częstych zestawów zaufania (Schafer 2009). Oba podejścia są powiązane i można je dość łatwo wdrożyć za pomocą reguł decyzyjnych, które preferencyjnie obejmowały decyzje z dużymi punktowymi informacjami obustronnymi (Bartels 2017).

Bartels, C., 2017. Wykorzystanie wcześniejszej wiedzy w testach częstych. figshare. https://doi.org/10.6084/m9.figshare.4819597.v3

Evans, M., 2016. Mierzenie dowodów statystycznych przy użyciu względnego przekonania. Czasopismo o biotechnologii obliczeniowej i strukturalnej, 14, s. 91–96.

Schafer, CM i Stark, PB, 2009. Konstruowanie regionów zaufania o optymalnej oczekiwanej wielkości. Journal of the American Statistics Association, 104 (487), str. 1080-1089.