Jak uzyskać przedział ufności dla percentyla?

Mam kilka surowych wartości danych, które są kwotami w dolarach, i chcę znaleźć przedział ufności dla percentyla tych danych. Czy istnieje wzór na taki przedział ufności?

To pytanie, które dotyczy typowej sytuacji, zasługuje na prostą, przybliżoną odpowiedź. Na szczęście jest jeden.

Załóżmy, że są niezależnymi wartości od nieznanego dystrybucji F którego q th kwantyl będę pisać F - 1 ( q ) . Oznacza to, że każdy X i ma szansę (przynajmniej) q być mniejszy lub równy$X_1, \ldots, X_n$$F$$q^\text{th}$$F^{-1}(q)$$X_i$$q$ . W związku z tym liczby X i mniejszą niż lub równą F - 1 ( P ) zawiera dwustronną ( $F^{-1}(q)$$X_i$$F^{-1}(q)$ dystrybucja.$(n,q)$

Zmotywowani tym prostym rozważaniem Gerald Hahn i William Meeker w swoim podręczniku „ Interwały statystyczne” (Wiley 1991) piszą

Dwustronny, pozbawiony dystrybucji konserwatywny przedział ufności dla F - 1 ( q ) jest uzyskiwany ... jako [ X ( l ) , X ( u )$100(1-\alpha)\%$$F^{-1}(q)$$[X_{(l)}, X_{(u)}]$

gdzie tostatystyki rzędudla próbki. Mówią dalej$X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$

Można wybrać liczby całkowite symetrycznie (lub prawie symetrycznie) wokół q ( n + 1 ) i jak najbliżej siebie, z zastrzeżeniem wymagań, że B ( u - 1 ; n , q ) - B ( l - 1 ; n , q ) ≥ 1 - α $0 \le l \le u \le n$$q(n+1)$

$$B(u-1;n,q) - B(l-1;n,q) \ge 1-\alpha.\tag{1}$$

Wyrażenie po lewej to szansa, że zmienna dwumianowa ma jedną z wartości { l , l + 1 , … , u - 1 } . Oczywiście, to prawdopodobieństwo, że wiele wartości danych x i mieszczące się w dolnym 100 q % rozkładu nie jest ani zbyt małe (mniejsze niż l ), ani też zbyt duża ( U lub więcej).$(n,q)$$\{l, l+1, \ldots, u-1\}$$X_i$$100q\%$$l$$u$

Hahn i Meeker podają kilka użytecznych uwag, które zacytuję.

Poprzedni przedział jest zachowawczy, ponieważ rzeczywisty poziom ufności, podany po lewej stronie równania , jest większy niż określona wartość 1 - α . ...$(1)$$1-\alpha$

Czasami niemożliwe jest zbudowanie przedziału statystycznego bez dystrybucji, który ma przynajmniej pożądany poziom ufności. Problem ten jest szczególnie dotkliwy przy szacowaniu percentyli w ogonie rozkładu z małej próbki. ... W niektórych przypadkach, analityk może poradzić sobie z tym problemem poprzez wybranie oraz u niesymetrycznie. Inną alternatywą może być zastosowanie obniżonego poziomu ufności.$l$$u$

Przeanalizujmy przykład (również dostarczony przez Hahna i Meekera). Dostarczają uporządkowany zestaw „pomiarów związku z procesu chemicznego” i proszą o 100 ( 1 - α ) = 95 % przedział ufności dla$n=100$$100(1-\alpha)=95\%$ percentyla. Twierdzą, że l = 85, a u = 97 będzie działać.$q=0.90$$l=85$$u=97$

Całkowite prawdopodobieństwo tego przedziału, jak pokazują niebieskie słupki na rysunku, wynosi : jest tak blisko, jak można dostać się do 95 % , ale wciąż jest powyżej niego, wybierając dwa odcięcia i eliminując wszystkie szanse w lewym ogonie i prawy ogon, który jest poza tymi odcięciami.$95.3\%$$95\%$

Oto dane pokazane w kolejności, pomijając wartości ze środka:$81$

największa jest 24.33 i$85^\text{th}$$24.33$ największa jest 33.24 . Przedział wynosi zatem [ 24,33 , 33,24 ] .$97^\text{th}$$33.24$$[24.33, 33.24]$

Zinterpretujmy to. Procedura ta miała mieć przynajmniej szans na pokrycie 90 th percentyla. Jeśli to rzeczywiście percentyl przekracza 33,24 , co oznacza, że będziemy zaobserwowali 97 lub więcej z 100 wartościami w naszej próbie, które są poniżej 90 $95\%$$90^\text{th}$$33.24$$97$$100$$90^\text{th}$ percentyla. To za dużo. Jeśli to percentyla jest mniejsza niż , co oznacza, że będziemy zaobserwowali 84 lub mniej wartości w naszej próbie, które są poniżej 90 th percentyla. To za mało.$24.33$$84$$90^\text{th}$ W obu przypadkach - dokładnie tak, jak wskazano przez czerwonych pasków na rysunku - byłoby dowodów przeciwko percentyla leżący wewnątrz tego przedziału.$90^\text{th}$

Jednym ze sposobów na znalezienie dobrych wyborów i$l$ jest poszukiwanie zależności od potrzeb. Oto metoda, która rozpoczyna się od symetrycznego przybliżonym przedziale a następnie wyszukiwania poprzez zmianę zarówno l oraz u nawet o 2 , aby wybrać interwał z dobrym zasięgiem (jeśli to możliwe). Ilustruje tokod. Jest skonfigurowany do sprawdzania zasięgu w poprzednim przykładzie dla rozkładu normalnego. Jego wydajność to$u$$l$$u$$2$R

Średni zasięg symulacji wynosił 0,9503; oczekiwany zasięg to 0,9523

Zgodność między symulacją a oczekiwaniami jest doskonała.

#
# Near-symmetric distribution-free confidence interval for a quantile `q`.
# Returns indexes into the order statistics.
#
quantile.CI <- function(n, q, alpha=0.05) {
  #
  # Search over a small range of upper and lower order statistics for the 
  # closest coverage to 1-alpha (but not less than it, if possible).
  #
  u <- qbinom(1-alpha/2, n, q) + (-2:2) + 1
  l <- qbinom(alpha/2, n, q) + (-2:2)
  u[u > n] <- Inf
  l[l < 0] <- -Inf
  coverage <- outer(l, u, function(a,b) pbinom(b-1,n,q) - pbinom(a-1,n,q))
  if (max(coverage) < 1-alpha) i <- which(coverage==max(coverage)) else
    i <- which(coverage == min(coverage[coverage >= 1-alpha]))
  i <- i[1]
  #
  # Return the order statistics and the actual coverage.
  #
  u <- rep(u, each=5)[i]
  l <- rep(l, 5)[i]
  return(list(Interval=c(l,u), Coverage=coverage[i]))
}
#
# Example: test coverage via simulation.
#
n <- 100      # Sample size
q <- 0.90     # Percentile
#
# You only have to compute the order statistics once for any given (n,q).
#
lu <- quantile.CI(n, q)$Interval
#
# Generate many random samples from a known distribution and compute 
# CIs from those samples.
#
set.seed(17)
n.sim <- 1e4
index <- function(x, i) ifelse(i==Inf, Inf, ifelse(i==-Inf, -Inf, x[i]))
sim <- replicate(n.sim, index(sort(rnorm(n)), lu))
#
# Compute the proportion of those intervals that cover the percentile.
#
F.q <- qnorm(q)
covers <- sim[1, ] <= F.q & F.q <= sim[2, ]
#
# Report the result.
#
message("Simulation mean coverage was ", signif(mean(covers), 4), 
        "; expected coverage is ", signif(quantile.CI(n,q)$Coverage, 4))

Pochodzenie

$\tau$$q_\tau$$X$$F_X^{-1}(\tau)$$\hat{q}_\tau = \hat{F}^{-1}(\tau)$

$\sqrt{n}(\hat{q}_\tau - q_\tau)$

Po pierwsze, potrzebujemy asymptotycznego rozkładu empirycznego cdf.

$\hat{F}(x) = \frac{1}{n} \sum 1\{X_i < x\}$$1\{X_i < x\}$$P(X_i < x) = F(x)$$F(x)(1-F(x))$

$\sqrt{n}(\hat{F}(x) - F(x)) \rightarrow N(0, F(x)(1-F(x))) \qquad (1)$

Ponieważ odwrotność jest funkcją ciągłą, możemy zastosować metodę delta.

$\sqrt{n}(\overline{y} - \mu_y) \rightarrow N(0,\sigma^2)$$g(\cdot)$$\sqrt{n}(g(\overline{y}) - g(\mu_y)) \rightarrow N(0, \sigma^2 (g'(\mu_y))^2)$

$x=q_\tau$$g(\cdot) = F^{-1}(\cdot)$

$\sqrt{n}(F^{-1}(\hat{F}(q_\tau)) - F^{-1}(F(q_\tau))) = \sqrt{n}(\hat{q}_\tau - q_\tau)$

$F^{-1}(\hat{F}(q_\tau)) \neq \hat{F}^{-1}(\hat{F}(q_\tau)) = \hat{q}_\tau$

Teraz zastosuj wspomnianą powyżej metodę delta.

$\frac{\textrm{d}}{\textrm{d}x} F^{-1}(x) = \frac{1}{f(F^{-1}(x))}$ (inverse function theorem)

$\sqrt{n}(\hat{q}_\tau - q_\tau) \rightarrow N\left(0, \frac{F(q_\tau)(1-F(q_\tau))}{f(F^{-1}(F(q_\tau)))^2}\right) = N\left(0, \frac{F(q_\tau)(1-F(q_\tau))}{f(q_\tau)^2}\right)$

Then, to construct the confidence interval, we need to calculate the standard error by plugging in sample counterparts of each of the terms in the variance above:

Result

So $se(\hat{q}_\tau) = \sqrt{\frac{\hat{F}(\hat{q}_\tau)(1-\hat{F}(\hat{q}_\tau))}{n \hat{f}(\hat{q}_\tau)^2}} =$ $\sqrt{\frac{\tau (1 - \tau)}{n \hat{f}(\hat{q}_\tau)^2}}$

And $CI_{0.95}(\hat{q}_\tau) = \hat{q}_\tau \pm 1.96 se(\hat{q}_\tau)$

This will require you to estimate the density of $X$, but this should be pretty straightforward. Alternatively, you could bootstrap the CI pretty easily too.