Jakie są teoretyczne gwarancje workowania

(W przybliżeniu) słyszałem, że:

workowanie jest techniką zmniejszania wariancji predyktora / estymatora / algorytmu uczenia się.

Jednak nigdy nie widziałem formalnego matematycznego dowodu tego stwierdzenia. Czy ktoś wie, dlaczego jest to prawdą matematyczną? Wydaje się, że jest to tak powszechnie akceptowany / znany fakt, że spodziewałbym się bezpośredniego odniesienia do tego. Byłbym zaskoczony, gdyby nie było. Ponadto, czy ktoś wie, jaki to ma wpływ na stronniczość?

Czy są jakieś inne teoretyczne gwarancje podejść do workowania, o których każdy wie i uważa, że ​​jest ważny i chce się nim podzielić?

Głównym przypadkiem użycia do pakowania w worki jest zmniejszenie wariancji modeli o niskim obciążeniu przez połączenie ich w całość. Zostało to zbadane empirycznie w przełomowym artykule „ Empiryczne porównanie algorytmów klasyfikacji głosowania: tworzenie worków, wzmocnienie i warianty ” autorstwa Bauer i Kohavi . Zwykle działa zgodnie z reklamą.

Jednak, wbrew powszechnemu przekonaniu, nie można zagwarantować zmniejszenia wariancji poprzez pakowanie . Nowszym i (moim zdaniem) lepszym wytłumaczeniem jest to, że workowanie zmniejsza wpływ punktów dźwigni. Punkty dźwigni to takie, które nieproporcjonalnie wpływają na wynikowy model, takie jak wartości odstające w regresji metodą najmniejszych kwadratów. Rzadko zdarza się, że punkty dźwigni mogą pozytywnie wpływać na powstałe modele, w którym to przypadku workowanie zmniejsza wydajność. Spójrz na „ Bagging wyrównuje wpływ ” Grandvaleta .

Tak więc, aby w końcu odpowiedzieć na twoje pytanie: efekt workowania zależy w dużej mierze od punktów dźwigni. Istnieje niewiele gwarancji teoretycznych, z wyjątkiem tego, że pakowanie liniowo wydłuża czas obliczeń pod względem wielkości torby! To powiedziawszy, jest to wciąż powszechnie stosowana i bardzo potężna technika. Na przykład przy uczeniu się z hałasem etykiet, w workach można uzyskać bardziej niezawodne klasyfikatory .

Rao i Tibshirani podali interpretację bayesowską w „ Metodzie „ out-of-bootstrap ”dla uśredniania i wyboru modelu ” :

W tym sensie rozkład ładowania początkowego reprezentuje (przybliżony) nieparametryczny, nieinformacyjny rozkład boczny dla naszego parametru. Ale ten rozkład ładowania początkowego uzyskuje się bezboleśnie - bez formalnego określania wcześniejszego i bez konieczności pobierania próbki z rozkładu tylnego. Dlatego możemy myśleć o rozmieszczeniu paska ładunkowego jak o „Bayesie biednym”.