Co to jest skurcz?

13

Słowo „skurcz” jest często rzucane w niektórych kręgach. Ale co to jest skurcz, wydaje się, że nie ma jasnej definicji. Jeśli mam szereg czasowy (lub jakąkolwiek kolekcję obserwacji jakiegoś procesu), jakie są różne sposoby pomiaru pewnego rodzaju skurczu empirycznego w szeregu? Jakie są rodzaje teoretycznego skurczu, o których mogę mówić? W jaki sposób skurcz może pomóc w prognozowaniu? Czy ludzie mogą zapewnić dobry wgląd lub referencje?

estimation predictive-models shrinkage

— Wintermute
źródło

1

Steyergerg: Zastosowanie technik skurczu w analizie regresji logistycznej: studium przypadku i skurcz oraz prawdopodobieństwo karane jako metody poprawy dokładności predykcyjnej są dobrym miejscem do rozpoczęcia. Nie jest to również open source (myślę), ale Google znajdzie oryginalne artykuły.

— Charles

3

Każda forma regularyzacji estymatora, która przesuwa (zmniejsza) oszacowanie (zazwyczaj w kierunku 0 lub innej „zerowej” / znanej wartości); w rzeczywistości regularyzacja, która przesuwa do siebie zbiór oszacowań, jest również rodzajem skurczu (przesuwa parametry reprezentujące ich różnice w kierunku 0). Jeśli jeszcze tego nie widział, Wikipedii artykuł może być pomocny.

— Glen_b

A co z empirycznym skurczem. Załóżmy, że mam szereg czasowy, do którego dopasowuję model. Czy mogę mówić o pewnego rodzaju kurczeniu się między dopasowaniem w próbce a wydajnością poza próbką?

— Wintermute

2

W 1961 roku James i Stein opublikowali artykuł zatytułowany „Szacowanie z kwadratową stratą” https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Chociaż nie pokrywa się konkretnie z pojęciem skurczu, omawiają estymatory minimaksymalne dla statystyk wielowymiarowych (w rzeczywistości nawet dla lokalizacji 3 parametrów), które mają mniejsze ryzyko (oczekiwana strata) niż zwykłe MLE (każdy składnik średnia próbki) dla normalnych danych . Bradley Efron nazywa to odkrycie „najbardziej uderzającym twierdzeniem powojennej statystyki matematycznej”. Ten artykuł był cytowany 3310 razy.

Copas w 1983 r. Pisze pierwszy artykuł Regresja, przewidywanie i skurcz, określając termin „skurcz”. Jest to zdefiniowane domyślnie w sposób abstrakcyjny:

Dopasowanie predyktora regresji do nowych danych jest prawie zawsze gorsze niż dopasowanie do danych pierwotnych. Przewidywanie tego skurczu prowadzi do predyktorów typu Steina, które przy pewnych założeniach dają jednakowo niższy średni błąd predykcji niż kwadrat najmniejszy.

I we wszystkich kolejnych badaniach wydaje się, że skurcz odnosi się do cech operacyjnych (i ich oszacowań) dla trafności prognozowania i oszacowania poza próbą w kontekście znalezienia dopuszczalnych i / lub minimaksymalnych estymatorów.

— AdamO
źródło

2

Chodzi o regularyzację. Załóżmy, że chcesz dopasować krzywą i korzystasz z funkcji utraty kwadratu (możesz wybrać inną). Przezfitchcesz odzyskać parametry rządzące procesem, który wygenerował tę krzywą. Teraz wyobraź sobie, że chciałbyś dopasować tę krzywą za pomocą 100. wielomianu (tylko na przykład). Prawdopodobnie przerwiesz lub uchwycisz każdy załamanie i hałas zakrętu. Ponadto możliwości przewidywania poza danym przedziałem danych treningowych będą prawdopodobnie bardzo słabe. Zatem do funkcji celu dodawany jest termin regularyzacji z pewną wagą pomnożoną przez współczynnik regularyzacji - l_1, l_2 lub niestandardowy. W przypadku l_2, który jest łatwiejszy do zrozumienia, spowoduje to, że duże wartości parametrów będą zmuszone do zmniejszenia skurczu aka. Możesz myśleć o regularyzacji lub kurczeniu się jako o prowadzeniu algorytmu do rozwiązania, które może być lepszym rozwiązaniem.

— Vladislavs Dovgalecs
źródło