Czy masz globalną wizję tych technik analizy?

Obecnie pracuję nad projektem, w którym zasadniczo potrzebuję, podobnie jak wszyscy, aby zrozumieć, w jaki sposób wyjście jest powiązane z wejściem . Szczególną cechą jest to, że dane są mi przekazywane pojedynczo, dlatego chcę aktualizować swoją analizę za każdym razem, gdy otrzymuję nowy . Wierzę, że nazywa się to przetwarzaniem „on-line”, w przeciwieństwie do przetwarzania „wsadowego”, w którym masz wszystkie potrzebne dane i wykonujesz obliczenia, używając wszystkich danych jednocześnie.x ( y , x ) ( y , x $y$$x$$(y,x)$$(y,x)$

Rozejrzałem się za pomysłami i wreszcie doszedłem do wniosku, że świat jest podzielony na trzy części:

• Pierwsza część to kraina statystyki i ekonometrii. Ludzie tam robią OLS, GLS, zmienne instrumentów, ARIMA, testy, różnice różnic, PCA i tak dalej. Ziemia ta jest w większości zdominowana przez liniowość i zajmuje się tylko przetwarzaniem „wsadowym”.

• Druga część to wyspa uczenia maszynowego i innych słów, takich jak sztuczna inteligencja, nadzorowane i bez nadzoru uczenie się, sieci neuronowe i maszyny SVM. Tutaj odbywa się przetwarzanie zarówno „wsadowy”, jak i „on-line”.

• Trzecia część to cały kontynent, który właśnie odkryłem, w większości zamieszkany przez inżynierów elektryków, jak się wydaje. Tam ludzie często dodać słowo „filtr” do swoich narzędzi, a oni wynaleźli wielkie spożywczych takich jak algorytm Widrow'a-Hoff, rekurencyjnych najmniejszych kwadratów , z filtra Wienera , do filtru Kalmana i prawdopodobnie innych rzeczy jeszcze nie odkrytych. Najwyraźniej przetwarzają głównie „on-line”, ponieważ lepiej odpowiada ich potrzebom.

Moje pytanie brzmi: czy masz na to globalną wizję? Mam wrażenie, że te trzy części świata nie rozmawiają ze sobą zbyt wiele. Czy się mylę? Czy istnieje wielka zunifikowana teoria zrozumienia, w jaki sposób odnosi się do ? Czy znasz jakieś zasoby, w których można by ustalić podstawy tej teorii?$Y$$X$

Nie jestem pewien, czy to pytanie naprawdę ma sens, ale jestem trochę zagubiony między tymi wszystkimi teoriami. Wyobrażam sobie odpowiedź na pytanie „powinienem użyć tego czy tamtego?” byłoby „zależy od tego, co chcesz zrobić (i twoich danych)”. Jednak wydaje mi się, że te trzy światy próbują odpowiedzieć na to samo pytanie ( ?), Więc powinno być możliwe, aby mieć na to lepszy pogląd i głęboko zrozumieć, co wyróżnia każdą technikę.$y=f(x)$

Jeśli chodzi o partię kontra online, z mojego doświadczenia wynika, że ​​czasami łączysz oba te elementy. Chodzi mi o to, że pozwalasz ciężkim ćwiczeniom, tj. Intensywnym obliczeniom związanym z formułowaniem modeli, wykonywać je offline, a następnie stosować szybkie / adaptacyjne procedury, aby używać tych modeli. Odkryliśmy, że „nowych danych” można używać na trzy sposoby; 1. po prostu prognozować; 2. w celu zmiany parametrów znanego modelu oraz 3. w celu zmiany parametrów i ewentualnie zmiany modelu. Te trzy podejścia wykorzystano do „analizy na żywo” i oczywiście czas wykonania jednego z tych trzech kroków zależy zarówno od użytego oprogramowania, jak i dostępnego sprzętu.

Przejdźmy teraz do innego punktu dotyczącego sposobu modelowania y vs x. Wolę używać rozszerzonej wersji regresji (zwanej funkcjami przenoszenia lub modelami ARMAX) jako podstawy do wyciągnięcia wpływu historii y oraz wartości bieżącej i pas x. Niezwykle ważne jest, aby zweryfikować wymagania Gaussa i uwzględnić jako niezbędne proxy dla zarówno pominiętej struktury deterministycznej (poprzez wykrywanie wartości odstających), jak i pominiętej struktury stochastycznej za pomocą komponentu ARMA. Dodatkowo należy upewnić się, że nie wykorzystano zbyt dużej ilości danych (testy stałości parametrów) i że każda niestała wariancja błędu wynikająca z wariancji błędu deterministycznego / stochastycznego i / lub powiązania między oczekiwaną wartością y a wariancją pozostałości.

Teraz historycznie (lub histerycznie, jeśli chcesz) różne silosy myśli próbowały sformułować podejścia. Wiele modeli ad-hoc używanych przez naszych przodków może być podzbiorami Funkcji Transferu, ale istnieją zestawy danych, które można sobie wyobrazić, które podważą założenia Funkcji Transferu. Chociaż te zbiory danych mogą istnieć, nie należy zakładać, że będą one miały bezpośredni wpływ na ciebie, chyba że analiza da taki wniosek.

Teksty takie jak Wei (Addison-Wessley) lub Box-Jenkins powinny zapewniać rozsądną mapę drogową, aby wesprzeć moje komendy i doprowadzić do dalszych odpowiedzi.

Nawiasem mówiąc, to świetne pytanie!

Dodatkowo, jeśli masz jakieś dane, których chcesz użyć, mógłbym zademonstrować różne opcje opisane tutaj. Prześlij swoje dane do sieci, aby wszyscy mogli je zobaczyć i wykorzystać w swoich staraniach o odniesienie „y do x”.

Breiman rozwiązuje ten problem w „ Modelowaniu statystycznym: dwie kultury ”. Pierwsza odpowiedź na doskonałe pytanie.

Podejrzewam, że odpowiedź na to pytanie brzmi „nie ma darmowego lunchu”. Być może powodem, dla którego statystycy, informatycy i elektrycy opracowali różne algorytmy, jest zainteresowanie rozwiązywaniem różnego rodzaju problemów.

Powiedziałbym, że te trzy grupy, które wskazałeś, są rzeczywiście tylko dwiema grupami:

• Statystyka
• Uczenie maszynowe, sztuczna inteligencja i rozpoznawanie wzorców.

Wszystkie gałęzie związane z filtrowaniem sygnałów oparte są na dwóch aspektach: ekstrakcji cech (falki, Gabor i Fourier), które należą do rozpoznawania wzorców i dyskretnej transformacji Fouriera, która należy do trudnej matematyki. W rzeczywistości filtrowanie cyfrowe jest bardziej zbliżone do strony inżynierskiej, ponieważ próbuje rozwiązać ten problem rozpoznawania wzorców za pomocą prostych i niskich algorytmów obliczeniowych. Ale zasadniczo jest to uczenie maszynowe.

Co więcej, Filtrowanie, Fale, Gabor i Fourier są szeroko stosowane w przetwarzaniu obrazu, stanowiącym rdzeń sztucznego widzenia.

Istnieje różnica między statystykami a uczeniem maszynowym.