Prognozowanie wydajności zależy bardziej od wiedzy analityka danych niż od metody?

Natknąłem się na pogłoskę, że niektóre badania wykazały, że wydajność modeli predykcyjnych zależy bardziej od wiedzy specjalisty analityka danych w zakresie wybranej metody niż od wyboru metody.
Innymi słowy, twierdzenie jest takie, że ważniejsze jest, aby analityk danych znał wybraną metodę, niż to, jak „odpowiednia” metoda wydaje się dla problemu z bardziej teoretycznego punktu widzenia.

Zostało to wspomniane w kontekście chemometrii, która wiąże się zazwyczaj z problemami wielu zmiennych (100–1000), wielokrotnej kolinearności i oczywiście zbyt małej liczby próbek. Prognozą mogła być klasyfikacja lub regresja.

Moje osobiste doświadczenie sugeruje, że jest to prawdopodobne , ale wspomniano o badaniu (zapytałem osobę, która wspomniała o tym e-mailem po szybkim, ale nieudanym wyszukiwaniu, ale nigdy nie otrzymała żadnej odpowiedzi). Jednak również przy bardziej szczegółowym wyszukiwaniu nie udało mi się wyśledzić żadnych dokumentów.

Czy ktoś jest świadomy takich ustaleń? Jeśli nie, co mówią osobiste doświadczenia Big Guys?

predictive-models method-comparison

— cbeleites obsługuje Monikę
źródło

Jestem raczej małym facetem, ale to, co widziałem w sieciach neuronowych, potwierdza tę hipotezę: nie jest to narzędzie „po wyjęciu z pudełka”, w którym „maszyna uczy się”, udana klasyfikacja lub prognoza wydaje się zależeć od dużo o tym, jak mądra jest ta osoba, która mówi sieci, jak uczyć się na podstawie danych - co najważniejsze pod względem przetwarzania danych, ale także pod względem architektury sieci itp.

— Stephan Kolassa

Myślę, że to rysunek 2.4 z The Elements of Statistics Learning, gdzie porównują najbliższych sąsiadów metodami regresji (i oczywiście zapewniają wiele punktów porównania w całej książce).

— StasK

@StasK: dzięki za przypomnienie (szkoda, że nie pamiętam). Informują również, że w praktyce PCR, PLS i regresja kalenicy są bardzo podobne, a także LDA i regresja logistyczna. Te ostatnie metody są jednak bardzo podobne z teoretycznego punktu widzenia.

— cbeleites obsługuje Monikę

W rzeczywistości słyszałem pogłoskę, że przyzwoite maszyny edukacyjne są zwykle lepsze niż eksperci, ponieważ ludzka skłonność polega na minimalizowaniu wariancji kosztem stronniczości (oversmooth), co prowadzi do słabej wydajności predykcyjnej w nowym zbiorze danych. Maszyna jest skalibrowana w celu zminimalizowania MSE, a zatem lepiej radzi sobie z prognozowaniem w nowym zestawie danych .

— guest47
źródło

Z mojego doświadczenia z pewnością jest prawdą, że ludzie mają tendencję do nadmiernego dopasowania. Z mojego doświadczenia wynika jednak, że potrzebujesz również przyzwoitego eksperta, który wybierze nieprzystosowaną maszynę edukacyjną. W przeciwnym razie ktoś po prostu wybiera maszynę do uczenia się, która będzie pasować.

— cbeleites obsługuje Monikę

MSE w ogólności nie chroni przed przeuczeniem, chyba że bardzo ograniczysz model - i tam znowu pojawia się ekspert. Niemniej jednak ludzie próbują zoptymalizować np. Hiperparametry modelu. Szczególnie iteracyjne strategie optymalizacji pokrywają się (MSE lub nie), chyba że możesz sobie pozwolić na zupełnie nowy zestaw niezależnych danych testowych dla każdej iteracji. Może powinienem powiedzieć, że pochodzę z dziedziny, w której przypadki testowe są bardzo rzadkie. W każdym razie możesz argumentować, że nie jest to przyzwoita maszyna do nauki.

— cbeleites obsługuje Monikę