To interesujące pytanie, na którym najpierw chciałbym wskazać kilka najważniejszych wydarzeń.
- Dwa estymatory są spójne
- β^1 jest bardziej wydajny niż ponieważ osiąga mniejszą zmiennośćβ^2
- Funkcje utraty nie są takie same
- jedna metoda skurczu jest stosowana do jednej, aby zmniejszyć zmienność, która sama w sobie stanowi lepszy estymator
- Pytanie : Innymi słowy, jeśli skurcz jest zastosowany sprytnie, czy
zawsze działa lepiej dla bardziej wydajnych estymatorów?
Zasadniczo możliwe jest ulepszenie estymatora w określonych ramach, takich jak obiektywna klasa estymatorów. Jednak, jak wskazałeś, różne funkcje strat utrudniają sytuację, ponieważ jedna funkcja straty może zminimalizować straty kwadratowe, a druga minimalizuje entropię. Co więcej, użycie słowa „zawsze” jest bardzo trudne, ponieważ jeśli jeden estymator jest najlepszy w klasie, nie można domagać się żadnego lepszego estymatora, mówiąc logicznie.
Dla prostego przykładu (w tej samej strukturze), niech dwa estymatory, a mianowicie Bridge (regresja karana z ) i Lasso (prawdopodobieństwo kary pierwszej normy) i rzadki zestaw parametrów mianowicie , model liniowy , normalność terminu błędu, , znany , funkcja straty kwadratowej (błędy najmniejszych kwadratów) i niezależność zmiennych towarzyszących w . Wybierzmy dla dla pierwszego estymatora i dla drugiego estymatora. Następnie możesz poprawić estymatory, wybierająclpβy=xβ+ee∼N(0,σ2<∞)σxlpp=3p=2p→1co daje lepszy estymator o mniejszej wariancji. Następnie w tym przykładzie istnieje szansa na poprawę estymatora.
Więc moja odpowiedź na twoje pytanie brzmi „tak”, biorąc pod uwagę, że zakładasz tę samą rodzinę estymatorów i tę samą funkcję straty, a także założenia.