Statystyki i duże zbiory danych

2

Biorąc pod uwagę stałą liczbę funkcji, Barnes-Hut t-SNE ma złożoność , losowe projekcje i PCA mają złożoność co czyni je „przystępnymi” dla bardzo dużych zestawów danych.O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Z drugiej strony metody oparte na skalowaniu wielowymiarowym mają złożoność .O(n2)O(n2)O(n^2) Czy istnieją inne techniki redukcji wymiarów (poza trywialnymi, jak na przykład spojrzenie …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

1

Właśnie przebiegłem dwa miliony regresji - zintegrowane prawdopodobieństwo

Obecnie pracuję nad wdrożeniem metody stosowanej w popularnym artykule zatytułowanym „I Just Ran Two Million Regressions”. Podstawową ideą jest to, że istnieją pewne przypadki, w których nie jest oczywiste, jakie elementy sterujące powinny być uwzględnione w modelu. Jedną z rzeczy, które możesz zrobić w takim przypadku, jest losowe sterowanie, uruchamianie …

9 likelihood-ratio

1

Interwał prognoz dla przyszłej proporcji sukcesów w ustawieniach dwumianowych

Załóżmy, że dopasowuję regresję dwumianową i uzyskuję oszacowania punktowe i macierz wariancji-kowariancji współczynników regresji. To pozwoli mi uzyskać CI dla oczekiwanego odsetka sukcesów w przyszłym eksperymencie,ppp, ale potrzebuję CI dla obserwowanej proporcji. Opublikowano kilka powiązanych odpowiedzi, w tym symulację (załóżmy, że nie chcę tego robić) oraz link do Krishnamoorthya i …

9 confidence-interval binomial beta-binomial beta-regression gamlss

1

Czy „utrata logów” odnosi się do utraty logarytmicznej czy logistycznej?

Wiem, że widziałem to na dwa sposoby, więc czy istnieje różnica między nimi, a która z nich jest bardziej popularna?

9 logistic terminology logarithm loss-functions

2

Co oznacza „hałas Laplace'a”?

Obecnie piszę algorytm różnicowej prywatności za pomocą mechanizmu Laplace'a. Niestety nie mam doświadczenia w statystyce, dlatego wiele terminów jest mi nieznanych. Więc teraz potykam się o termin: hałas Laplace'a . Aby ustawić różnicowanie zbioru danych jako prywatne, wszystkie artykuły mówią tylko o dodaniu szumu Laplace'a zgodnie z rozkładem Laplace'a do …

9 random-generation laplace-distribution differential-privacy

1

Jak efektywne jest Q-learning z sieciami neuronowymi, gdy na działanie przypada jedna jednostka wyjściowa?

Tło: Używam aproksymacji wartości Q sieci neuronowej w moim zadaniu uczenia się zbrojenia. Podejście jest dokładnie takie samo, jak opisane w tym pytaniu , jednak samo pytanie jest inne. W tym podejściu liczba wyników jest liczbą działań, które możemy podjąć. W prostych słowach algorytm jest następujący: wykonaj akcję A, zbadaj …

9 machine-learning neural-networks reinforcement-learning q-learning

1

Czy do oszacowania można zastosować znormalizowane współczynniki w regresji liniowej ?

Próbuję zinterpretować wyniki artykułu, w którym zastosowali regresję wielokrotną, aby przewidzieć różne wyniki. Jednak (standardowe współczynniki B zdefiniowane jako gdzie jest zależne zmienna, a jest predyktorem) zgłoszone wydają się nie pasować do zgłoszonego :ββ\betaβx1=bx1⋅S D.x1S D.yβx1=Bx1⋅SDx1SDy\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}yyyx1x1x_1R2)R2R^2 Pomimo wynoszących -0,83, -0,29, -0,16, -0,43, 0,25 i -0,29, zgłaszane …

9 regression regression-coefficients multicollinearity r-squared

2

Jak obliczyć przedział ufności przecięcia X w regresji liniowej?

Ponieważ błąd standardowy regresji liniowej jest zwykle podawany dla zmiennej odpowiedzi, zastanawiam się, jak uzyskać przedziały ufności w innym kierunku - np. Dla przecięcia x. Jestem w stanie wyobrazić sobie, co to może być, ale jestem pewien, że musi istnieć prosty sposób, aby to zrobić. Poniżej znajduje się przykład w …

9 r regression confidence-interval bootstrap

2

Jak próbkować obcięty rozkład wielomianowy?

Potrzebuję algorytmu do próbkowania obciętego rozkładu wielomianowego. To jest, x⃗ ∼1Zpx11…pxkkx1! …xk!x→∼1Zp1x1…pkxkx1!…xk!\vec x \sim \frac{1}{Z} \frac{p_1^{x_1} \dots p_k^{x_k}}{x_1!\dots x_k!} gdzie ZZZ jest stałą normalizacyjną, x⃗ x→\vec x ma kkk pozytywne składniki i ∑xja= n∑xi=n\sum x_i = n. Rozważam tylko wartościx⃗ x→\vec{x} w zasięgu za⃗ ≤x⃗ ≤b⃗ a→≤x→≤b→\vec a \le \vec …

9 algorithms multinomial random-generation

1

Czy sieci neuronowe używają wydajnego kodowania?

Moje pytanie dotyczy związku między hipotezą efektywnego kodowania, która została opisana na stronie Wikipedii dotyczącej wydajnego kodowania i algorytmów uczenia sieci neuronowej. Jaki jest związek między efektywną hipotezą kodowania a sieciami neuronowymi? Czy są jakieś modele sieci neuronowych wyraźnie zainspirowane hipotezą wydajnego kodowania? Czy może bardziej sprawiedliwym byłoby stwierdzenie, że …

9 neural-networks information-theory

1

Definicja wag najmniejszych kwadratowych: R lm funkcja vs.

Czy ktoś mógłby mi powiedzieć, dlaczego otrzymuję różne wyniki od Rważonego najmniejszego kwadratu i ręcznego rozwiązania przez operację macierzy ? W szczególności próbuję ręcznie rozwiązać , gdzie to macierz diagonalna na wagach, to macierz danych, to odpowiedź wektor. W A x = W bW.ZAx=W.b\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf …

9 r regression least-squares weighted-regression weighted-data

2

Bezstronny estymator parametru Poissona

Liczba wypadków na dzień jest zmienną losową Poissona o parametrze , w 10 losowo wybranych dniach zaobserwowano liczbę wypadków jako 1,0,1,1,2,0,2,0,0,1, co będzie być obiektywnym estymatorem ?λλ\lambdaeλeλe^{\lambda} Próbowałem w ten sposób: Wiemy, że , ale . Więc jaki będzie wymagany obiektywny estymator?E(x¯)=λ=0.8E(x¯)=λ=0.8E(\bar{x})=\lambda=0.8E(ex¯)≠ eλE(ex¯)≠ eλE(e^{\bar{x}})\neq\ e^{\lambda}

9 self-study estimation poisson-distribution

1

Czy suma dużej liczby niezależnych zmiennych losowych Cauchy'ego jest normalna?

Według centralnego twierdzenia granicznego funkcja gęstości prawdopodobieństwa sumy dużych niezależnych zmiennych losowych dąży do normalności. Czy możemy zatem powiedzieć, że suma dużej liczby niezależnych zmiennych losowych Cauchy'ego jest również normalna?

9 random-variable central-limit-theorem cauchy

1

Co jest zwyczajne w zwykłych najmniejszych kwadratach?

Mój przyjaciel niedawno zapytał, co jest takiego zwyczajnego, o zwykłych najmniejszych kwadratach. Wydaje się, że nigdzie nie rozmawialiśmy. Obaj zgodziliśmy się, że OLS jest specjalnym przypadkiem modelu liniowego, ma wiele zastosowań, jest dobrze znany i jest szczególnym przypadkiem wielu innych modeli. Ale czy to naprawdę wszystko? Dlatego chciałbym wiedzieć: Skąd …

9 regression linear-model least-squares terminology

1

Czy istnieje inna interpretacja rozkładu gamma z parametrem kształtu niecałkowitym?

Dobrze wiadomo, że zmienna losowa jest rozkładem gamma z parametrem kształtu liczby całkowitej kkk jest równa sumie kwadratów kkk normalnie rozmieszczone zmienne losowe. Ale co mogę powiedzieć o losowej zmiennej rozproszonej gamma z liczbą całkowitą kkk? Czy w ogóle jest jakaś inna interpretacja niż rozkład gamma?

9 probability gamma-distribution