Statystyki i duże zbiory danych

2

Niech będą niezależnymi standardowymi normalnymi zmiennymi losowymi. Istnieje wiele (długich) dowodów, które to pokazująZ1,⋯,ZnZ1,⋯,ZnZ_1,\cdots,Z_n ∑i=1n(Zi−1n∑j=1nZj)2∼χ2n−1∑i=1n(Zi−1n∑j=1nZj)2∼χn−12 \sum_{i=1}^n \left(Z_i - \frac{1}{n}\sum_{j=1}^n Z_j \right)^2 \sim \chi^2_{n-1} Wiele dowodów jest dość długich, a niektóre z nich wykorzystują indukcję (np. Wnioskowanie statystyczne Caselli). Zastanawiam się, czy istnieje jakikolwiek łatwy dowód tego wyniku.

10 mathematical-statistics sampling

2

Czy paradoks Simpsona obejmuje wszystkie przypadki odwrócenia się od ukrytej zmiennej?

Poniżej znajduje się pytanie dotyczące wielu wizualizacji przedstawionych jako „dowód za obrazem” istnienia paradoksu Simpsona i być może pytanie dotyczące terminologii. Paradoks Simpsona jest dość prostym zjawiskiem, które można opisać i podać numeryczne przykłady (powód, dla którego może się to zdarzyć, jest głęboki i interesujący). Paradoks polega na tym, że …

10 mathematical-statistics data-visualization causality contingency-tables simpsons-paradox

1

Dowody licencjackie twierdzenia Pitmana – Koopmana – Darmois

Twierdzenie Pitmana-Koopmana-Darmois mówi, że jeśli próbka iid ze sparametryzowanej rodziny rozkładów prawdopodobieństwa dopuszcza wystarczającą statystykę, której liczba składników skalarnych nie rośnie wraz z wielkością próbki, to jest to rodzina wykładnicza. Czy jakieś podręczniki lub zwykłe dokumenty ekspozycyjne dają dowody? Dlaczego nazywa się te trzy osoby?

10 mathematical-statistics references

3

Kiedy nie mogę zastąpić zmiennej losowej jej średnią?

Częstym uproszczeniem w modelowaniu i symulacji jest zastąpienie zmiennej losowej jej wartością średnią. Kiedy to uproszczenie doprowadziłoby do błędnego wniosku?

10 modeling mean random-variable

1

Jakiej funkcji straty należy użyć, aby ocenić model RNN o sekwencji 2?

Pracuję nad dokumentem Cho 2014, który wprowadził architekturę kodera-dekodera do modelowania seq2seq. W pracy wydaje się, że wykorzystują one prawdopodobieństwo wyjścia podanego wejścia (lub jego logarytmiczne prawdopodobieństwo) jako funkcję straty dla wejścia o długości i wyjścia o długości N :M y NxxxM.M.MyyyN.N.N P.( y1, … , YN.| x1, … , …

10 deep-learning loss-functions rnn

1

Uzyskaj łączny rozkład z parowania marginalnego rozkładu

Załóżmy, że mamy 3 zmienne losowe i znamy parowy rozkład krańcowy P ( X 1 , X 2 ) , P ( X 2 , X 3 ) , P ( X 3 , X 1 ) , ale nic nie wiemy (np. warunkowa niezależność). Czy możemy uzyskać wspólny rozkład …

10 probability distributions

6

Jak nazywa się „jedno-gorące” kodowanie w literaturze naukowej?

Jak nazywa się operator, który przyjmuje wektor kategoryczny i przekształca go w reprezentację binarną za pomocą kodowania „na gorąco”? Zastanawiam się, skoro piszę artykuł naukowy i potrzebuję do tego odpowiedniej nazwy.

10 terminology categorical-encoding

2

Jakie są najważniejsze „wczesne artykuły” na temat metod regularyzacji?

W kilku odpowiedziach widziałem, jak użytkownicy CrossValidated sugerują OP znaleźć wczesne artykuły na temat Lasso, Ridge i Elastic Net. Dla potomnych, jakie są przełomowe prace na temat Lasso, Ridge i Elastic Net?

10 references lasso regularization ridge-regression elastic-net

1

Jak skaluje się Lasso z rozmiarem matrycy projektowej?

Jeśli mam macierz projektową , gdzie jest liczbą obserwacji wymiaru , jaka jest złożoność rozwiązania dla z Lasso wrt i ? Myślę, że odpowiedź powinna odnosić się do tego, jak jedna iteracja LASSO skaluje się z tymi parametrami, a nie do tego, jak skaluje się liczba iteracji (zbieżności), chyba że …

10 optimization lasso regularization time-complexity

2

Dlaczego nachylenie zawsze wynosi dokładnie 1 podczas regresji błędów reszt za pomocą OLS?

Eksperymentowałem z zależnością między błędami a resztkami, używając kilku prostych symulacji w R. Jedną z rzeczy, które znalazłem, jest to, że niezależnie od wielkości próbki lub wariancji błędu zawsze otrzymuję dokładnie dla nachylenia, gdy dopasujesz model111 errors∼β0+β1×residualserrors∼β0+β1×residuals {\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals} Oto przeprowadzona przeze mnie …

10 regression least-squares residuals

2

Różnica między nieinformacyjnymi a niewłaściwymi Przełożonymi

Zastanawiam się, jaka jest różnica między tymi dwoma rodzajami priorytetów: Nieinformacyjny Niewłaściwy

10 bayesian prior improper-prior

3

Pytanie do wywiadu z naukowcem: Regresja liniowa niska

Stawiłem czoła pytaniu kwalifikacyjnemu o pracę, w której ankieter zapytał mnie, czy twoje jest bardzo niskie (od 5 do 10%) dla modelu elastyczności cen. Jak rozwiązałbyś to pytanie?R2)R2)R^2 Nie mogłem wymyślić nic innego niż fakt, że zrobię diagnostykę regresji, aby zobaczyć, co poszło źle lub czy należy zastosować jakąkolwiek metodę …

10 regression self-study theory

1

Dlaczego otrzymuję różne prognozy dotyczące ręcznego rozszerzania wielomianu i korzystania z funkcji R `poly`?

Dlaczego otrzymuję różne prognozy dotyczące ręcznego rozwijania wielomianu i korzystania z polyfunkcji R. set.seed(0) x <- rnorm(10) y <- runif(10) plot(x,y,ylim=c(-0.5,1.5)) grid() # xp is a grid variable for ploting xp <- seq(-3,3,by=0.01) x_exp <- data.frame(f1=x,f2=x^2) fit <- lm(y~.-1,data=x_exp) xp_exp <- data.frame(f1=xp,f2=xp^2) yp <- predict(fit,xp_exp) lines(xp,yp) # using poly function …

10 r regression polynomial

1

Intuicyjne wyjaśnienie odwrotnego prawdopodobieństwa wag leczenia (IPTW) w ważeniu wyniku skłonności?

Rozumiem mechanikę obliczania wag z wykorzystaniem wyników skłonności : w i , j = t r e ap ( xja)p(xja)p(x_i) a następnie zastosowanie wag w analizie regresji, a wagi służą do „kontrolowania” lub rozdzielania efektów zmiennych towarzyszących w populacjach grupy leczonej i kontrolnej ze zmienną wynikową.wi , j = t …

10 intuition weighted-regression propensity-scores

1

Dlaczego moje losowe wyniki w lesie są tak zmienne?

Próbuję przetestować zdolność losowego lasu do klasyfikowania próbek między dwiema grupami; Do klasyfikacji zastosowano 54 próbki i różną liczbę zmiennych. Zastanawiałem się, dlaczego szacunki braku w torbie (OOB) mogą się różnić nawet o 5%, nawet gdy używam 50 tys. Drzew? Czy jest to coś, w czym może pomóc bootstrapping?

10 machine-learning random-forest