Czy jakakolwiek właściwość ilościowa populacji jest „parametrem”?

Stosunkowo znam rozróżnienie między terminami statystyki i parametru. Widzę statystykę jako wartość uzyskaną z zastosowania funkcji do przykładowych danych. Jednak większość przykładów parametrów dotyczy definiowania rozkładu parametrycznego. Typowym przykładem jest średnia i odchylenie standardowe do parametryzacji rozkładu normalnego lub współczynników i wariancji błędu do parametryzacji regresji liniowej.

Istnieje jednak wiele innych wartości rozkładu populacji, które są mniej prototypowe (np. Minimum, maksimum, r-kwadrat w regresji wielokrotnej, kwantyl .25, mediana, liczba predyktorów o niezerowych współczynnikach, skośność, liczba korelacji w macierzy korelacji większej niż .3 itd.).

Tak więc moje pytania to:

• Czy jakakolwiek właściwość ilościowa populacji powinna być oznaczona jako „parametr”?
• Jeśli tak, to dlaczego?
• Jeśli nie, jakie cechy nie powinny być oznaczone parametrem? Co powinny być oznaczone? I dlaczego?

Opracowanie na temat zamieszania

Artykuł w Wikipedii na temat estymatorów mówi:

„Estymator” lub „oszacowanie punktowe” to statystyka (to znaczy funkcja danych), która służy do wnioskowania o wartości nieznanego parametru w modelu statystycznym.

Ale mogę zdefiniować nieznaną wartość jako kwantyl .25 i mogę opracować estymator dla tej nieznanej. Tzn. Nie wszystkie właściwości ilościowe populacji są parametrami w taki sam sposób, w jaki średnia i sd są parametrami rozkładu normalnego, ale uzasadnione jest dążenie do oszacowania dowolnej ilościowej właściwości populacji.

To pytanie dotyczy sedna statystyk i tego, jak przeprowadzić dobrą analizę statystyczną. Porusza wiele zagadnień, niektóre terminologiczne i inne teoretyczne. Aby je wyjaśnić, zacznijmy od zwrócenia uwagi na ukryty kontekst pytania i przejdźmy dalej do zdefiniowania kluczowych terminów „parametr”, „właściwość” i „estymator”. Odpowiedzi na kilka części pytania pojawiają się w trakcie dyskusji. Ostatnia sekcja podsumowująca podsumowuje kluczowe pomysły.

Przestrzenie państwowe

Popularnym statystycznym zastosowaniem „rozkładu”, jak w „rozkładzie normalnym z PDF proporcjonalnym do ” jest w rzeczywistości (poważne) nadużycie angielskiego, ponieważ oczywiście nie jest to jedna dystrybucja: jest to cała rodzina dystrybucji sparametryzowanych za pomocą symboli i . Standardowym zapisem tego jest „przestrzeń stanu” , zbiórμσΩ$\exp(-\frac{1}{2}(x-\mu)/\sigma)^2)dx$$\mu$$\sigma$$\Omega$dystrybucji. (Trochę upraszczam tutaj dla celów ekspozycyjnych i będę się upraszczał w miarę postępów, pozostając tak rygorystycznym, jak to tylko możliwe). Jego rolą jest wyznaczenie możliwych celów naszych procedur statystycznych: kiedy coś oszacujemy, jesteśmy wybranie jednego (lub czasem więcej) elementów .$\Omega$

Czasami spacje stanu są jawnie sparametryzowane, jak w . W tym opisie istnieje zgodność jeden-do-jednego między zbiorem krotek w górnej połowie płaszczyzny i zbiorem rozkładów, których będziemy używać do modelowania naszych danych. Jedną z wartości takiej parametryzacji jest to, że możemy teraz konkretnie odnosić się do rozkładów w za pomocą uporządkowanej pary liczb rzeczywistych.{ ( μ , σ ) } $\Omega = \{\mathcal{N}(\mu, \sigma^2)|\mu \in \mathbb{R}, \sigma \gt 0\}$$\{(\mu,\sigma)\}$$\Omega$

W innych przypadkach przestrzenie stanów nie są jawnie sparametryzowane. Przykładem może być zbiór wszystkich unimodalnych ciągłych rozkładów. Poniżej zajmiemy się pytaniem, czy w takich przypadkach można znaleźć odpowiednią parametryzację.

Parametryzacje

Ogólnie, parametryzacja z jest korespondencji (matematyczna funkcja ) z podzbioru (z skończoności) do . Oznacza to, że używa uporządkowanych zestawów -plejek do oznaczania dystrybucji. Ale to nie tylko korespondencja: musi być „dobrze wychowana”. Aby to zrozumieć, należy rozważyć zestaw wszystkich ciągłych dystrybucji, których pliki PDF mają skończone oczekiwania. Byłoby to powszechnie uważane za „nieparametryczne” w tym sensie, że każda „naturalna” próba parametryzacji tego zestawu pociągałaby za sobą policzalną sekwencję liczb rzeczywistych (z wykorzystaniem rozszerzenia dowolnej podstawy ortogonalnej). Niemniej jednak, ponieważ ten zestaw ma licznośćR d d Ω d ℵ 1 $\Omega$$\mathbb{R}^d$$d$$\Omega$$d$$\aleph_1$ , która jest reali, musi istnieć pewna korespondencja jeden do jednego między tymi dystrybucjami a . Paradoksalnie wydaje się, że czyni to sparametryzowaną przestrzeń stanów z jednym rzeczywistym parametrem!$\mathbb{R}$

Paradoks rozwiązuje się, zauważając, że pojedyncza liczba rzeczywista nie może cieszyć się „ładną” relacją z rozkładami: kiedy zmieniamy wartość tej liczby, rozkład, którym ona odpowiada, musi w niektórych przypadkach zmieniać się radykalnie. Wykluczamy takie „patologiczne” parametryzacje, wymagając, aby rozkłady odpowiadające bliskim wartościom ich parametrów były same w sobie „bliskie”. Omówienie odpowiednich definicji „bliskich” zabrałoby nas za daleko, ale mam nadzieję, że ten opis wystarczy, aby wykazać, że parametr jest czymś więcej niż tylko nazywanie określonego rozkładu.

Właściwości rozkładów

Poprzez wielokrotne stosowanie przyzwyczajamy się do myślenia o „własności” rozkładu jako pewnej zrozumiałej ilości, która często pojawia się w naszej pracy, takiej jak oczekiwanie, wariancja i tak dalej. Problem z tą możliwą definicją „własności” polega na tym, że jest ona zbyt niejasna i niewystarczająco ogólna. (To właśnie tam matematyka była w połowie XVIII wieku, gdzie „funkcje” były uważane za skończone procesy stosowane do obiektów.) Zamiast tego, jedyną sensowną definicją „własności”, która zawsze zadziała, jest myślenie o własności jako jest liczbą, która jest jednoznacznie przypisana do każdej dystrybucji wΩ Ω Ω t 1$\Omega$. Obejmuje to średnią, wariancję, dowolny moment, dowolną kombinację algebraiczną momentów, dowolne kwantyle i wiele innych, w tym rzeczy, których nawet nie da się obliczyć. Nie obejmuje jednak rzeczy, które nie miałyby sensu dla niektórych elementów . Na przykład, jeśli składa się ze wszystkich rozkładów Studenta t, to średnia nie jest prawidłową właściwością dla (ponieważ nie ma średniej). To robi na nas wrażenie, jak bardzo nasze pomysły zależą od tego, na czym tak naprawdę składa się .$\Omega$$\Omega$$\Omega$$t_1$$\Omega$

Właściwości nie zawsze są parametrami

Właściwość może być tak skomplikowaną funkcją, że nie służyłaby jako parametr. Rozważ przypadek „rozkładu normalnego”. Możemy chcieć wiedzieć, czy rzeczywista średnia rozkładu, po zaokrągleniu do najbliższej liczby całkowitej, jest parzysta. To własność. Ale to nie będzie służyć jako parametr.

Parametry niekoniecznie są właściwościami

Gdy parametry i rozkłady są w relacji jeden do jednego, to oczywiście każdy parametr i dowolna funkcja parametrów w tym zakresie jest właściwością zgodnie z naszą definicją. Ale nie musi istnieć relacja jeden-do-jednego między parametrami a rozkładami: czasami kilka rozkładów musi być opisanych przez dwie lub więcej wyraźnie różnych wartości parametrów. Na przykład parametr lokalizacji dla punktów na kuli użyłby naturalnie szerokości i długości geograficznej. W porządku - z wyjątkiem dwóch biegunów, które odpowiadają danej szerokości geograficznej i dowolnej prawidłowej długości geograficznej. lokalizacja(punkt na kuli) rzeczywiście jest własnością, ale jej długość niekoniecznie jest własnością. Chociaż istnieją różne uniki (na przykład deklaruj długość geograficzną bieguna jako zero), to zagadnienie podkreśla ważną konceptualną różnicę między właściwością (która jest wyjątkowo związana z rozkładem) a parametrem (który jest sposobem znakowania dystrybucja i może nie być unikalna).

Procedury statystyczne

Cel oszacowania nazywany jest oszacowaniem . To tylko własność. Statystyk nie może swobodnie wybierać szacunków: jest to prowincja jej klienta. Gdy ktoś przyjdzie do ciebie z próbką populacji i poprosi cię o oszacowanie 99. percentyla populacji, prawdopodobnie nie podasz zamiast tego oszacowania średniej! Twoim zadaniem, jako statystykiem, jest określenie dobrej procedury szacowania oszacowania i otrzymanego przez ciebie. (Czasami Twoim zadaniem jest przekonanie klienta, że ​​wybrał niewłaściwe oszacowanie do swoich celów naukowych, ale to inny problem ...)

Z definicji procedura jest sposobem na uzyskanie liczby z danych. Procedury są zwykle podawane jako formuły stosowane do danych, takie jak „dodaj je wszystkie i podziel według liczby”. Dosłownie każdą procedurę można określić jako „estymator” danego oszacowania. Na przykład mógłbym zadeklarować, że średnia próbki (wzór zastosowany do danych) szacuje wariancję populacji (właściwość populacji, zakładając , że nasz klient ograniczył zestaw możliwych populacji aby uwzględnić tylko te, które faktycznie mają wariancje) .$\Omega$

Estymatory

Estymator nie musi mieć żadnego oczywistego związku z estymatorem. Na przykład, czy widzisz związek między średnią próby a wariancją populacji? Ja też nie. Ale mimo to średnia z próby jest w rzeczywistości przyzwoitym estymatorem wariancji populacji dla pewnych$\Omega$ (takich jak zbiór wszystkich rozkładów Poissona). Oto jeden klucz do zrozumienia estymatorów: ich cechy zależą od zestawu możliwych stanów . Ale to tylko część tego.$\Omega$

Kompetentny statystyk będzie chciał wiedzieć, jak dobrze faktycznie wykona zalecaną przez siebie procedurę. Nazwijmy procedurę „ ” i niech estymat będzie . Nie wiedząc, która dystrybucja jest prawdziwa, rozważy wydajność procedury dla każdej możliwej dystrybucji . Biorąc pod uwagę takie , i biorąc pod uwagę ewentualnych wynikach (czyli zbiór danych), będzie ona porównać (co jej przewidywany wewnętrznego) do (wartość estimand do ). Obowiązkiem jej klienta jest poinformowanie jej, jak blisko są te dwie odległości.$t$$\theta$ $F \in \Omega$$F$$s$$t(s)$$\theta(F)$$F$ (Często odbywa się to za pomocą funkcji „straty”). Następnie może rozważyć oczekiwanie odległości między a . To ryzyko jej procedury. Ponieważ zależy od , ryzyko jest funkcją zdefiniowaną w .$t(s)$$\theta(F)$$F$$\Omega$

(Dobre) statystycy zalecają procedury oparte na porównaniu ryzyka. Załóżmy na przykład, że dla każdego ryzyko procedury jest mniejsze lub równe ryzyku . Zatem nie ma powodu, aby używać : jest to „niedopuszczalne”. W przeciwnym razie jest to „dopuszczalne”.$F \in \Omega$$t_1$$t$$t$

(Statystyk „bayesowski” zawsze porówna ryzyko, uśredniając rozkład „wcześniejszych” możliwych stanów (zwykle dostarczanych przez klienta). Statystyk „częsty” może to zrobić, jeśli taki uprzednio istnieje, ale jest również skłonny porównaj ryzyko na inne sposoby, których Bayesianie unikają.)

Wnioski

Mamy prawo powiedzieć, że każdy , który jest dopuszczalny dla jest Estymator z . $t$$\theta$$\theta$ Musimy, ze względów praktycznych (ponieważ trudno jest znaleźć dopuszczalne procedury), nagiąć to do stwierdzenia, że każde które ma akceptowalnie małe ryzyko (w porównaniu do ) wśród wykonalnych procedur jest estymatorem . $t$$\theta$$\theta$ „Dopuszczalne” i „wykonalne” są określane przez klienta, oczywiście: „akceptowalne” odnosi się do ich ryzyka, a „wykonalne” odzwierciedla koszt (ostatecznie przez nich zapłacony) wdrożenia procedury.

U podstaw tej definicji zwięzły są wszystkie pomysły właśnie omówione: aby zrozumieć, że należy mieć na uwadze specyficzny (który jest modelem problemu, procesu lub populacji badanej), określony estimand (dostarczonego przez klienta), konkretna funkcja straty (która ilościowo łączy z estymatą i jest również podawana przez klienta), idea ryzyka (obliczona przez statystykę), pewna procedura porównywania funkcji ryzyka (odpowiedzialność statystyki w porozumieniu z klientem) oraz poczucie, jakie procedury można faktycznie przeprowadzić (kwestia „praktyczności”), nawet jeśli żadna z nich nie jest wyraźnie wymieniona w definicji.$\Omega$$t$

Podobnie jak w przypadku wielu pytań dotyczących definicji, odpowiedzi muszą mieć na uwadze zarówno podstawowe zasady, jak i sposób, w jaki terminy są stosowane w praktyce, które często mogą być co najmniej trochę luźne lub niespójne, nawet przez osoby dobrze poinformowane i nie tylko co ważne, zmienne w zależności od społeczności.

Jedną z powszechnych zasad jest to, że statystyka jest właściwością próbki i znaną stałą, a parametr jest odpowiednią właściwością populacji, a więc nieznaną stałą. Słowo „odpowiadający” należy tutaj rozumieć jako dość elastyczne. Nawiasem mówiąc, właśnie to rozróżnienie i ta terminologia mają mniej niż sto lat, a zostały wprowadzone przez RA Fishera.

Ale

1. Zestaw próbek i populacji nie charakteryzuje wszystkich naszych problemów. Szeregi czasowe są jedną z głównych klas przykładów, w których pomysł jest raczej podstawowym procesem generowania, a coś takiego jest prawdopodobnie głębszą i bardziej ogólną ideą.

2. Istnieją konfiguracje, w których parametry się zmieniają. Ponownie analiza szeregów czasowych dostarcza przykładów.

3. Co najważniejsze, w praktyce nie uważamy wszystkich właściwości populacji lub procesu za parametry. Jeśli jakaś procedura zakłada model rozkładu normalnego, wówczas minimum i maksimum nie są parametrami. (Rzeczywiście, zgodnie z modelem, minimum i maksimum są dowolnymi dużymi liczbami ujemnymi i dodatnimi, ale to nie powinno nas martwić.)

Powiedziałbym, że choć raz Wikipedia wskazuje tutaj właściwy kierunek, a praktyka i zasada są przestrzegane, jeśli powiemy, że parametr jest tym, co oceniamy .

Pomaga to również w przypadku innych pytań, które wywołały zdziwienie. Na przykład, jeśli obliczymy średnią obciętą o 25%, co szacujemy? Rozsądną odpowiedzią jest odpowiednia właściwość populacji, która w rzeczywistości jest określona metodą szacowania. Jedna terminologia mówi, że estymator ma estymator, niezależnie od tego, co jest szacowany. Zaczynając od jakiegoś platońskiego pomysłu własności „tam” (powiedzmy tryb dystrybucji) i zastanawiania się, jak oszacować to rozsądnie, podobnie jak wymyślanie dobrych przepisów na analizę danych i przemyślenie tego, co implikują, gdy zostaną uznane za wnioskowanie.

Jak często w matematyce stosowanej lub nauce, parametr ma dwojaki aspekt. Często myślimy o tym jako o czymś, co odkrywamy, ale prawdą jest również to, że jest to coś zdefiniowanego przez nasz model procesu, więc nie ma znaczenia poza kontekstem modelu.

Dwa zupełnie różne punkty:

1. Wielu naukowców używa słowa „parametr” w sposób, w jaki statystycy używają zmiennych. Mam osobowość naukową i statystyczną, i powiedziałbym, że to niefortunne. Zmienne i właściwości to lepsze słowa.

2. W powszechnym użyciu języka angielskiego niezwykle często uważa się, że parametr oznacza granice lub ograniczenia, które mogą wynikać z pierwotnego pomieszania „parametru” z „obwodem”.

Uwaga na temat szacunkowego punktu widzenia

Klasyczne stanowisko polega na tym, że z góry określamy parametr, a następnie decydujemy, jak go oszacować, i pozostaje to praktyką większościową, ale odwrócenie procesu nie jest absurdalne i może być pomocne w przypadku niektórych problemów. Nazywam to szacunkowym punktem widzenia. Jest w literaturze od co najmniej 50 lat. Tukey (1962, s. 60) namawiał do tego

„Musimy poświęcić jeszcze więcej uwagi, zaczynając od estymatora i odkrywając, co jest rozsądnym oszacowaniem, i odkrywając, co rozsądne jest uważać estymator za oszacowanie”.

Podobny punkt widzenia został opracowany formalnie ze szczegółami i głębokością przez Bickela i Lehmanna (1975), a nieformalnie ze znaczną przejrzystością przez Mostellera i Tukeya (1977, s. 32–34).

Istnieje również wersja podstawowa. Zastosowanie (powiedzmy) mediany próbki lub średniej geometrycznej do oszacowania odpowiedniego parametru populacji ma sens niezależnie od tego, czy leżący u jej podstaw rozkład jest symetryczny, a tę samą wartość firmy można rozszerzyć na (np.) Średnie obcięte próbki, które są uważane za estymatory ich odpowiedników populacji .

Bickel, PJ i EL Lehmann. 1975. Statystyka opisowa dla modeli nieparametrycznych. II. Lokalizacja . Annals of Statistics 3: 1045-1069.

Mosteller, F. i JW Tukey. 1977. Analiza danych i regresja. Reading, MA: Addison-Wesley.

Tukey, JW 1962. Przyszłość analizy danych . Annals of Mathematical Statistics 33: 1-67.

$$\text{pdf}=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2}\frac{(x_i-\mu)^2}{\sigma^2}}$$ $1$$2$$\pi$$\approx 3.1415926$$e$$\approx 2.718281828$$X$$x_i$wartość też. Innymi słowy, kiedy już wiem, że powyższe równanie jest tym, z czym muszę pracować, wiem wszystko, co muszę$\boldsymbol\mu$$\boldsymbol\sigma^2$ wiedzieć, gdy tylko poznam wartości dla i . Te wartości są parametrami . W szczególności są to nieznane stałe, które kontrolują zachowanie rozkładu. Tak więc na przykład, jeśli chcę poznać wartość która odpowiada , mogę ustalić to (lub cokolwiek innego na temat tego rozkładu), po znajomości i (ale nie na odwrót). Powyższe uprawnienia do równania X 25 th %$X$$25^{\text{th}}\%$$\mu$$\sigma^2$$\mu$i w sposób, którego nie robi dla żadnej innej wartości. $\sigma^2$

Podobnie, gdybym pracował z modelem regresji wielokrotnej OLS, w którym zakłada się, że proces generowania danych to: a następnie, gdy nauczę się (w praktyce szacuję ) wartości , , i , wiem wszystko, co tam jest wiedzieć . Cokolwiek innego, na przykład rozkładu warunkowego gdzie , mogę obliczyć na podstawie mojej wiedzy o
β 0 β 1 β 2 σ 2 25 th % Y X = x i β 0 β 1 β 2 σ 2 β 0 β 1 β 2 σ

$$Y=\beta_0 + \beta_1X_1 + \beta_2X_2 + \varepsilon \\ \text{where } \varepsilon\sim\mathcal N(0, \sigma^2)$$ $\boldsymbol\beta_0$$\boldsymbol\beta_1$$\boldsymbol\beta_2$$\boldsymbol\sigma^2$$25^{\text{th}}\%$$Y$$X=x_i$$\beta_0$, , i . Model regresji wielokrotnej powyżej uprawnień , , i w sposób, którego nie ma dla żadnej innej wartości. $\beta_1$$\beta_2$$\sigma^2$$\beta_0$$\beta_1$$\beta_2$$\sigma^2$

(Wszystko to zakłada oczywiście, że mój model rozkładu populacji lub procesu generowania danych jest poprawny. Jak zawsze warto pamiętać, że „wszystkie modele są błędne, ale niektóre są przydatne” - George Box .)

Aby wyraźniej odpowiedzieć na twoje pytania, powiedziałbym:

• Nie, żadna stara poprawna ilość nie powinna być oznaczona jako „parametr”.
• nie dotyczy
• Cechy, które powinny być oznaczone jako „parametr”, zależą od specyfikacji modelu. Nie mam specjalną nazwę dla innych cech ilościowych, ale myślę, że byłoby dobrze, aby nazwać ich właściwości lub cechy lub konsekwencje itd

Było kilka świetnych odpowiedzi na to pytanie, pomyślałem, że streszczę interesujące odniesienie, które zapewnia dość rygorystyczną dyskusję na temat estymatorów.

Strona wirtualnych laboratoriów na temat estymatorów określa

• statystyka jako „obserwowalny funkcji zmiennej outcome”.
• „w sensie technicznym parametr jest funkcją rozkładu X”$\theta$

Pojęcie funkcji rozkładu jest bardzo ogólną ideą. Tak więc każdy przykład podany powyżej może być postrzegany jako funkcja pewnego rozkładu.

• Każdy kwantyl, w tym min, mediana, 25 kwantyl, maksimum może być funkcją rozkładu.
• Skośność jest funkcją rozkładu. Jeśli ten rozkład populacji jest normalny, wówczas będą wynosić zero, ale to nie kończy obliczania tych wartości.
• Zliczanie liczby korelacji większych niż pewna wartość jest funkcją macierzy kowariancji, która z kolei jest funkcją rozkładu wielowymiarowego.
• R-kwadrat jest funkcją rozkładu.