Porównywanie 0/10 do 0/20

Czy omawiając wskaźniki realizacji zadań, można pokazać, że 0 na 20 prób jest „gorszych” niż 0 na 10 prób?

probability sampling

— vinne
źródło

Możesz spróbować użyć en.wikipedia.org/wiki/Additive_smoothing, ale będzie raczej machać rękami niż solidnym dowodem

— abukaj

Skąd wiesz, że jest gorzej? Np. Jeśli możliwe jest tylko 10 prób, nie wiesz, jaki byłby wynik przy większej liczbie prób.

— Tim

Być może przedział ufności dla oszacowanej proporcji?

— mdewey,

To wydaje mi się rozsądnym pytaniem. Opiera się na całkowicie normalnej intuicji, którą można omówić, i istnieją statystyczne sposoby (np. Bayesian) na rozwiązanie tego problemu. Głosuję za pozostawieniem otwartego.

— Gung - Przywróć Monikę

Zgadzam się z @gung. To dobre pytanie.

— Alexis,

Odpowiedzi:

Załóżmy, że znamy prawdopodobieństwo sukcesu w próbie. W tym przypadku obliczamy prawdopodobieństwo 0 na 10 i 0 na 20 przypadków.

Jednak w tym przypadku idziemy na odwrót. Nie znamy prawdopodobieństwa, mamy dane i staramy się oszacować prawdopodobieństwo.

Im więcej przypadków mamy, tym bardziej możemy być pewni wyników. Jeśli przerzucę monetę i będzie to głowa, nie będziecie pewni, że jest ona podwójna. Jeśli rzucę go 1000 razy, a będą to wszystkie głowy, jest mało prawdopodobne, aby był wyważony.

Istnieją metody, które zostały zaprojektowane w celu uwzględnienia liczby szlaków przy podawaniu oszacowań. Jednym z nich jest addytywne wygładzanie, które @abukaj komentuje powyżej. W wygładzaniu dodatkowym uwzględniamy dodatkowe pseudopróbki. W naszym przypadku zamiast szlaku, który widzieliśmy, dodajemy dwa kolejne - jeden udany, a drugi nieudany.

W pierwszym przypadku wygładzonym prawdopodobieństwem będzie = ~ 8,3% $\frac{1+0}{10 +1 +1}$ $\frac{1}{12}$
W drugim przypadku otrzymamy = ~ 4,5% $\frac{1+0}{20 +1 +1}$ $\frac{1}{22}$

Należy pamiętać, że wygładzanie addytywne jest tylko jedną metodą szacowania. Otrzymasz różne wyniki za pomocą różnych metod. Nawet przy samym wygładzaniu addytywnym uzyskałbyś różne wyniki, gdybyś dodał 4 pseudo próbki.

Inną metodą jest użycie przedziału ufności, jak sugeruje @mdewey. Im więcej próbek mamy, tym krótszy będzie przedział ufności. Rozmiar przedziału ufności jest proporcjonalny do pierwiastka kwadratowego z próbek - . Dlatego podwojenie liczby próbek spowoduje skrócenie przedziału ufności . $\frac{1}{\sqrt{n}}$ $\sqrt{2}$

Średnia w obu przypadkach wynosi 0. Przyjmujemy poziom ufności 90% (z = 1,645)

W pierwszym przypadku otrzymamy 0 + ~ 52% $\frac{1.645}{\sqrt{10}}$
W drugim przypadku otrzymamy 0 + ~ 36% $\frac{1.645}{\sqrt{20}}$

W przypadku brakujących danych istnieje niepewność. Twoje założenia i dane zewnętrzne, które wykorzystasz, zmienią to, co otrzymasz.

— DaL
źródło

Dziękuję bardzo Dan Levin. Twoja odpowiedź była na tyle jasna, że podążył za nią nie-matematyk, a jednak wystarczająco mocna, abym intuicyjnie zaakceptował twoje wyjaśnienie. Dziękuję wszystkim komentującym za Twój wkład.

— vinne

Rozszerzając ideę wywoływania przedziałów ufności, istnieje koncepcja dokładnego przedziału dwumianowego.

Rozkład dwumianowy to łączna liczba sukcesów w niezależnych próbach, które kończą się 0 (niepowodzenie) lub 1 (sukces). Prawdopodobieństwo uzyskania 1 (sukcesu) tradycyjnie oznacza się , a jego dopełnieniem jest . Zatem standardowy wynik prawdopodobieństwa jest taki, że prawdopodobieństwo dokładnie sukcesów w próbach wynosi $p$ $q=1-p$ $k$ $n$

p_{n, k} = (\binom{n}{k}) p^{k} q^{n - k} = \frac{n!}{k! (n - k)!} p^{k} q^{n - k}

$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$

Pojęcie przedziału ufności polega na powiązaniu zestawu możliwych wartości parametrów modelu (tutaj prawdopodobieństwa sukcesu ), abyśmy mogli wydawać twierdzenia probabilistyczne (cóż, częstokroć ) o tym, czy prawdziwa wartość parametru mieści się w tym przedziale (mianowicie , że jeśli powtórzymy eksperyment probabilistyczny polegający na wykonaniu 10 lub 20 prób i skonstruujemy przedział ufności w określony sposób, zauważymy, że prawdziwa wartość parametru mieści się w przedziale 95% czasu). $p$

W tym przypadku możemy rozwiązać dla w tej formule: $p$

p_{n, 0} = (1 - p)^{n}

$p_{n,0}=(1-p)^n$

Gdybyśmy chcieli 95% jednostronnego przedziału, ustawilibyśmy aby rozwiązać prawdopodobieństwo prawdopodobieństwa, że zaobserwowana liczba zerowa wynosi co najwyżej 5%. Dla odpowiedź wynosi (tzn. Skrajnie, jeśli prawdopodobieństwo sukcesu w każdym badaniu wynosi 13,9%, wówczas prawdopodobieństwo zaobserwowania zerowych sukcesów wynosi 5%). Dla odpowiedzią jest . Tak więc z próbki dowiedzieliśmy się więcej niż z próbki , w tym sensie, że możemy `` wykluczyć '' zakres niż próbka nadal pozostawia jako prawdopodobne. $p_{n,0}=5\%$ $n=20$ $[0\%,13.9\%]$ $n=10$ $[0\%,25.9\%]$ $n=20$ $n=10$ $[13.9\%,25.9\%]$ $n=10$

— StasK
źródło

Podejście bayesowskie

Niech dla będzie ciągiem losowych zmiennych IID Bernoulli z parametrem . $X_i$ $i=1,\ldots n$ $p$
Przedstawmy naszą niepewność parametru , zakładając, że podąża on za rozkładem Beta z hiperparametrami i . $p$ $\alpha$ $\beta$

Funkcja prawdopodobieństwa to Bernoulliego, a rozkład Beta jest sprzężony przed rozkładem Bernoulliego, stąd tylny podąża za rozkładem Beta. Ponadto, tylny jest parametryzowany przez:

\hat{α} = α + \sum_{ja = 1}^{n} X_{ja} \hat{β} = β + n - \sum_{ja = 1}^{n} X_{ja}

$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$

W konsekwencji:

\begin{aligned} mi [p ∣ X_{1}, \dots, X_{n}] & = \frac{\hat{α}}{\hat{α} + \hat{β}} \\ = \frac{α + \sum_{ja = 1}^{n} X_{ja}}{α + β + n} \end{aligned}

$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$

Zatem jeśli zobaczysz 10 awarii, twoje oczekiwanie na to , a jeśli zobaczysz 20 awarii, twoje oczekiwanie na to . Im więcej awarii widzisz, tym niższe jest Twoje oczekiwanie na . $p$ $\frac{\alpha}{\alpha + \beta + 10}$ $p$ $\frac{\alpha}{\alpha + \beta + 20}$ $p$

Czy to rozsądny argument? Zależy to od tego, co sądzisz o statystykach bayesowskich, czy chcesz modelować niepewność w odniesieniu do niektórych parametrów stosując mechanikę prawdopodobieństwa. I zależy to od tego, jak rozsądny jest twój wybór przeora. $p$

— Matthew Gunn
źródło