Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Dlaczego regresja liniowa ma założenie dotyczące resztkowego, ale uogólnionego modelu liniowego ma założenia dotyczące reakcji?
Dlaczego regresja liniowa i model uogólniony mają niespójne założenia? W regresji liniowej zakładamy, że reszta pochodzi z gaussowskiego W innych regresjach (regresja logistyczna, regresja trucizny) zakładamy, że odpowiedź pochodzi z pewnego rozkładu (dwumianowy, pozycyjny itp.). Dlaczego czasami zakładamy, że pozostały czas, a innym czas na odpowiedź? Czy dlatego, że chcemy …
7
Intuicyjnie rozumiem, dlaczego rozkład Poissona jest ograniczającym przypadkiem rozkładu dwumianowego
W „Analizie danych” DS Sivii istnieje pochodna rozkładu Poissona z rozkładu dwumianowego. Twierdzą, że rozkład Poissona jest ograniczającym przypadkiem rozkładu dwumianowego, gdy M→∞M→∞M\rightarrow\infty , gdzie MMM jest liczbą prób. Pytanie 1: Jak intuicyjnie zrozumieć ten argument? Pytanie 2: Dlaczego dużymi MMM limit M!N!(M−N)!M!N!(M−N)!\frac{M!}{N!(M-N)!}równaMNN!MNN!\frac{M^{N}}{N!}, gdzieNNNjest liczbą sukcesów wpróbachMMM? (Ten krok jest …
2
W przypadku jakich modeli tendencyjność MLE spada szybciej niż wariancja?
θ^θ^\hat\thetaθ∗θ∗\theta^*nnn∥θ^−θ∗∥‖θ^−θ∗‖\lVert\hat\theta-\theta^*\rVertO(1/n−−√)O(1/n)O(1/\sqrt n)∥Eθ^−θ∗∥‖Eθ^−θ∗‖\lVert \mathbb E\hat\theta - \theta^*\rVert∥Eθ^−θ^∥‖Eθ^−θ^‖\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/n−−√)O(1/n)O(1/\sqrt{n}) Interesują mnie modele, które mają odchylenie, które zmniejsza się szybciej niż O(1/n−−√)O(1/n)O(1/\sqrt n) , ale w którym błąd nie zmniejsza się w tym szybszym tempie, ponieważ odchylenie nadal zmniejsza się jako O(1/n−−√)O(1/n)O(1/\sqrt n) . W szczególności chciałbym poznać warunki wystarczające …
3
Dlaczego korelacja nie jest zbyt przydatna, gdy jedna ze zmiennych jest kategoryczna?
To trochę kontrola, proszę, pomóżcie mi zobaczyć, czy nie rozumiem tej koncepcji iw jaki sposób. Mam funkcjonalne zrozumienie korelacji, ale czuję się trochę wyłapany, aby naprawdę pewnie wyjaśnić zasady tego funkcjonalnego zrozumienia. Jak rozumiem, korelacja statystyczna (w przeciwieństwie do bardziej ogólnego użycia tego terminu) jest sposobem na zrozumienie dwóch ciągłych …
1
W jaki sposób efekty losowe z tylko 1 obserwacją wpłyną na uogólniony liniowy model mieszany?
Mam zestaw danych, w którym zmienna, której chciałbym użyć jako efektu losowego, ma tylko jedną obserwację dla niektórych poziomów. Opierając się na odpowiedziach na poprzednie pytania, stwierdziłem, że w zasadzie może być w porządku. Czy mogę dopasować model mieszany do obiektów, które mają tylko 1 obserwację? Model przechwytuje losowo - …
1
Każdy przykład (z grubsza) zmiennych niezależnych, które są zależne od ekstremalnych wartości?
Szukam przykładu 2 losowych zmiennych XXX , YYY takich, że |cor(X,Y)|≈0|cor(X,Y)|≈0\newcommand{\cor}{{\rm cor}}|\cor(X,Y)| \approx 0 ale jeśli wziąć pod uwagę tylną część rozkładów, są one wysoce skorelowane. (Staram się unikać „korelacji” / „korelacji” dla ogona, ponieważ może on nie być liniowy). Prawdopodobnie skorzystaj z tego: |cor(X′,Y′)|≫0|cor(X′,Y′)|≫0|\cor(X', Y')| \gg 0 gdzie jest …
1
Dwa światy się zderzają: używanie ML do złożonych danych ankiet
Uderza mnie pozornie łatwy problem, ale od kilku tygodni nie znalazłem odpowiedniego rozwiązania. Mam całkiem sporo danych ankietowych / ankietowych (dziesiątki tysięcy respondentów, powiedzmy 50 tys. Na zbiór danych), pochodzących z czegoś, co, mam nadzieję, nazywa się kompleksowo zaprojektowaną ankietą z wagami, stratyfikacją, określonym routingiem i tak dalej. Dla każdego …
3
Jaki rozkład ma odwrotny normalny CDF zmiennej losowej beta?
Załóżmy, że definiujesz: X∼Beta(α,β)X∼Beta(α,β)X\sim\mbox{Beta}(\alpha,\beta) Y∼Φ−1(X)Y∼Φ−1(X)Y\sim \Phi^{-1}(X) gdzie jest odwrotnością CDF standardowego rozkładu normalnego .Φ−1Φ−1\Phi^{-1} Moje pytanie brzmi: czy istnieje prosty rozkład, za którym podąża , czy może przybliżać ? YYYYYYPytam, ponieważ mam silne podejrzenie oparte na wynikach symulacji (pokazanych poniżej), że zbiega się do rozkładu normalnego, gdy i są wysokie, …
3
Dlaczego wstecz propaguje się w czasie w sieci RNN?
W nawracającej sieci neuronowej zwykle propagujesz w przód przez kilka kroków czasowych, „rozwijasz” sieć, a następnie w tył propagujesz w sekwencji danych wejściowych. Dlaczego po prostu nie aktualizowałbyś wag po każdym indywidualnym kroku w sekwencji? (odpowiednik użycia długości obcięcia 1, więc nie ma nic do rozwinięcia) To całkowicie eliminuje problem …
2
Przypadek dyskryminacji azjatyckiej Palantira: w jaki sposób obliczono prawdopodobieństwa?
Przeczytałem ten artykuł o sprawie Palantira, w której Departament Pracy oskarża ich o dyskryminację Azjatów. Czy ktoś wie, skąd wziął te oszacowania prawdopodobieństwa? Nie dostaję 1/741 w pozycji (a). (a) Na stanowisko Inżyniera ds. kontroli jakości, z grupy ponad 730 wykwalifikowanych kandydatów - z których około 77% to Azjaci - …
3
Najnowocześniejszy algorytm uczenia się zespołu w zadaniach rozpoznawania wzorców?
Struktura tego pytania jest następująca: najpierw przedstawiam koncepcję uczenia się w zespole , następnie dostarczam listę zadań rozpoznawania wzorców , następnie podaję przykłady algorytmów uczenia się w zespole, a na koniec przedstawiam moje pytanie. Ci, którzy nie potrzebują wszystkich dodatkowych informacji, mogą po prostu spojrzeć na nagłówki i przejść od …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.