Oblicz przedział ufności na podstawie przykładowych danych

Mam przykładowe dane, dla których chciałbym obliczyć przedział ufności, zakładając rozkład normalny.

Znalazłem i zainstalowałem pakiety numpy i scipy i otrzymałem numpy, aby zwracać średnią i odchylenie standardowe (numpy.mean (dane) z danymi będącymi listą). Wszelkie porady dotyczące uzyskania przykładowego przedziału ufności byłyby bardzo mile widziane.

import numpy as np
import scipy.stats


def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    m, se = np.mean(a), scipy.stats.sem(a)
    h = se * scipy.stats.t.ppf((1 + confidence) / 2., n-1)
    return m, m-h, m+h

możesz obliczyć w ten sposób.

Oto skrócona wersja kodu Shasana, obliczająca 95% przedział ufności średniej z tablicy a:

import numpy as np, scipy.stats as st

st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))

Ale korzystanie z StatsModels tconfint_meanjest prawdopodobnie jeszcze przyjemniejsze:

import statsmodels.stats.api as sms

sms.DescrStatsW(a).tconfint_mean()

Podstawowym założeniem dla obu jest to, że próbka (tablica a) została pobrana niezależnie od rozkładu normalnego z nieznanym odchyleniem standardowym (patrz MathWorld lub Wikipedia ).

W przypadku dużej próby o rozmiarze n średnia z próby ma rozkład normalny i można obliczyć jej przedział ufności za pomocą st.norm.interval()(jak zasugerowano w komentarzu Jaime'a). Ale powyższe rozwiązania są poprawne również dla małego n, gdzie st.norm.interval()daje przedziały ufności, które są zbyt wąskie (tj. „Fałszywe zaufanie”). Zobacz moją odpowiedź na podobne pytanie, aby uzyskać więcej informacji (i jeden z komentarzy Russa tutaj).

Oto przykład, w którym prawidłowe opcje dają (zasadniczo) identyczne przedziały ufności:

In [9]: a = range(10,14)

In [10]: mean_confidence_interval(a)
Out[10]: (11.5, 9.4457397432391215, 13.554260256760879)

In [11]: st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))
Out[11]: (9.4457397432391215, 13.554260256760879)

In [12]: sms.DescrStatsW(a).tconfint_mean()
Out[12]: (9.4457397432391197, 13.55426025676088)

I na koniec niepoprawny wynik przy użyciu st.norm.interval():

In [13]: st.norm.interval(0.95, loc=np.mean(a), scale=st.sem(a))
Out[13]: (10.23484868811834, 12.76515131188166)

Zacznij od wyszukania wartości z dla żądanego przedziału ufności w tabeli przeglądowej . Przedział ufności wynosi zatem mean +/- z*sigma, gdzie sigmajest szacowanym odchyleniem standardowym średniej z próby, podanym przez sigma = s / sqrt(n), gdzie sjest odchyleniem standardowym obliczonym na podstawie danych próbki i njest wielkością próby.

Począwszy Python 3.8od biblioteki standardowej NormalDistobiekt jest częścią statisticsmodułu:

from statistics import NormalDist

def confidence_interval(data, confidence=0.95):
  dist = NormalDist.from_samples(data)
  z = NormalDist().inv_cdf((1 + confidence) / 2.)
  h = dist.stdev * z / ((len(data) - 1) ** .5)
  return dist.mean - h, dist.mean + h

To:

• Tworzy NormalDistobiekt z próbki danych ( NormalDist.from_samples(data)co daje nam dostęp do średniej próbki i odchylenia standardowego za pośrednictwem NormalDist.meani NormalDist.stdev.

• Oblicz Z-scorebazując na standardowym rozkładzie normalnym (reprezentowanym przez NormalDist()) dla danego poziomu ufności, używając odwrotności funkcji rozkładu skumulowanego ( inv_cdf).

• Tworzy przedział ufności na podstawie odchylenia standardowego próbki i średniej.

Zakłada się, że wielkość próby jest wystarczająco duża (powiedzmy ponad ~ 100 punktów), aby do obliczenia zwartości użyć standardowego rozkładu normalnego zamiast rozkładu t studenta .