Przedział ufności RMSE

Pobrałem próbkę punktów danych z populacji. Każdy z tych punktów ma prawdziwą wartość (znaną z podstawowej prawdy) i wartość szacunkową. Następnie obliczam błąd dla każdego próbkowanego punktu, a następnie obliczam RMSE próbki. $n$

Jak mogę wnioskować o pewnym przedziale ufności wokół tego RMSE na podstawie wielkości próbki ? $n$

Gdybym używał średniej, a nie RMSE, nie miałbym problemu z tym, ponieważ mogę użyć standardowego równania

$m = \frac{Z \sigma}{\sqrt{n}}$

ale nie wiem, czy dotyczy to RMSE, a nie średniej. Czy mogę to jakoś dostosować?

(Widziałem to pytanie , ale nie mam problemów z tym, czy moja populacja jest normalnie rozmieszczona, z tym właśnie ma do czynienia odpowiedź)

confidence-interval

— robintw
źródło

Co konkretnie obliczasz, gdy „obliczasz RMSE próbki”? Czy to RMSE z prawdziwych wartości, o wartości szacunkowych, albo ich różnice?

— whuber

Obliczam RMSE różnic, czyli obliczam pierwiastek kwadratowy średniej kwadratowych różnic między wartościami prawdziwą a oszacowaną.

— robintw

Jeśli znasz „prawdę podstawową” (choć nie jestem pewien, co to właściwie oznacza), dlaczego potrzebowałbyś niepewności w RMSE? Czy próbujesz wyciągnąć jakieś wnioski na temat przypadków, w których nie masz podstawowej prawdy? Czy to problem z kalibracją?

— Glen_b

@Glen_b: Tak, właśnie to staramy się zrobić. Nie mamy prawdziwej prawdy dla całej populacji, tylko dla próbki. Następnie obliczamy RMSE dla próbki i chcemy mieć dla tego przedziały ufności, ponieważ używamy tej próbki do wnioskowania o RMSE populacji.

— robintw

Możliwy duplikat SE RMSE w R

— Ciekawy

Odpowiedzi:

Z podobnym uzasadnieniem, jak tutaj , mogę pod pewnymi warunkami udzielić odpowiedzi na twoje pytanie.

Niech być twoja prawdziwa wartość dla punkcie danych i szacunkowej wartości. Jeśli założymy, że istnieją różnice między wartościami szacowanymi i prawdziwymi $x_{i}$ $i^{th}$ $\hat{x}_{i}$

średnią zero (czyli są rozmieszczone wokół ) $\hat{x}_{i}$ $x_{i}$
postępuj zgodnie z rozkładem normalnym
i wszystkie mają to samo odchylenie standardowe $\sigma$

w skrócie:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

wtedy naprawdę potrzebujesz przedziału ufności dla . $\sigma$

Jeśli powyższe założenia są prawdziwe marozkład przy(nie) stopniach swobody. To znaczy

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2)}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Dlatego to przedział ufności.

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Oto program python, który symuluje twoją sytuację

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Mam nadzieję, że to pomaga.

Jeśli nie masz pewności, czy założenia mają zastosowanie, lub jeśli chcesz porównać to, co napisałem z inną metodą, zawsze możesz spróbować załadować .

— fabee
źródło

Myślę, że się mylisz - on chce CI dla RMSE, a nie

. I ja też tego chcę :)

σ

$\sigma$

— Ciekawy

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

$i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

$\epsilon_i$

ϵ_{i} = {\hat{x}}_{i} - x_{i}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

$\epsilon$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

$\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

— CVR
źródło

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— fabee

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

— LKlevin
źródło