Statystyki i duże zbiory danych

1

Zestawy danych podobne do Anscombe z tym samym polem i wykresem wąsów (średnia / standardowa / mediana / MAD / min / maks.)

EDYCJA: Ponieważ to pytanie zostało zawyżone, podsumowanie: znalezienie różnych znaczących i możliwych do interpretacji zestawów danych z tymi samymi mieszanymi statystykami (średnia, mediana, średnica i związane z nimi dyspersje oraz regresja). Kwartet Anscombe (patrz Cel wizualizacji danych wielowymiarowych? ) Jest znanym przykładem czterech zestawów danych - , z tym samym …

21 regression descriptive-statistics curve-fitting estimators

1

Bootstrapping kontra Bayesian Bootstrapping koncepcyjnie?

Mam problem ze zrozumieniem, czym jest proces ładowania bayesowskiego i czym różni się on od normalnego ładowania początkowego. A gdyby ktoś mógł zaoferować intuicyjny / konceptualny przegląd i porównanie obu, byłoby świetnie. Weźmy przykład. Powiedzmy, że mamy zestaw danych X, który jest [1,2,5,7,3]. Jeśli próbujemy z zamianą wiele razy, aby …

21 bayesian sampling bootstrap

2

zakres przedziałów ufności z regularnymi szacunkami

Załóżmy, że próbuję oszacować dużą liczbę parametrów na podstawie danych wielowymiarowych, używając pewnego rodzaju regularnych oszacowań. Regularizator wprowadza pewne szacunki do szacunków, ale nadal może być dobrym kompromisem, ponieważ zmniejszenie wariancji powinno więcej niż zrekompensować. Problem pojawia się, gdy chcę oszacować przedziały ufności (np. Używając aproksymacji Laplace'a lub ładowania początkowego). …

21 confidence-interval bias regularization ridge-regression coverage-probability

3

Jak przewidzieć wynik na podstawie pozytywnych przypadków jako treningu?

Dla uproszczenia załóżmy, że pracuję nad klasycznym przykładem wiadomości e-mail ze spamem / bez spamu. Mam zestaw 20000 e-maili. Wiem, że 2000 to spam, ale nie mam żadnego przykładu wiadomości nie będących spamem. Chciałbym przewidzieć, czy pozostałe 18000 to spam, czy nie. Idealnie, wynik, którego szukam, to prawdopodobieństwo (lub wartość …

21 machine-learning predictive-models unsupervised-learning supervised-learning semi-supervised

1

Czy właśnie wymyśliłem bayesowską metodę analizy krzywych ROC?

Preambuła To jest długi post. Jeśli ponownie to czytasz, pamiętaj, że poprawiłem część pytania, chociaż materiał tła pozostaje taki sam. Dodatkowo uważam, że opracowałem rozwiązanie problemu. To rozwiązanie pojawia się na dole wpisu. Dzięki CliffAB za wskazanie, że moje oryginalne rozwiązanie (edytowane z tego postu; zobacz historię edycji tego rozwiązania) …

21 machine-learning bayesian sampling roc auc

1

Kiedy stosować dane GLM Poissona vs. geometryczne vs. ujemne dwumianowe?

Staram się układać dla siebie, gdy właściwe jest użycie typu regresji (geometrycznej, Poissona, dwumianu ujemnego) z danymi zliczania w ramach GLM (tylko 3 z 8 rozkładów GLM są używane do danych zliczania, chociaż większość z tego Czytałem centra wokół ujemnych rozkładów dwumianowych i Poissona). Kiedy stosować dane GLM Poissona vs. …

21 generalized-linear-model negative-binomial count-data poisson-regression zero-inflation

2

Jakie są główne różnice między ramami przyczynowości Grangera i Pearl?

Ostatnio natknąłem się na kilka artykułów i zasobów internetowych, które wspominają o przyczynowości Grangera . Krótkie przeglądanie odpowiedniego artykułu z Wikipedii wywarło na mnie wrażenie, że termin ten odnosi się do przyczynowości w kontekście szeregów czasowych (lub, bardziej ogólnie, procesów stochastycznych ). Ponadto czytanie tego fajnego posta na blogu spowodowało …

21 stochastic-processes causality granger-causality

2

Czy ta dyskretna dystrybucja ma nazwę?

Czy ta dyskretna dystrybucja ma nazwę? Dlai∈1...Ni∈1...Ni \in 1...N f(i)=1N∑Nj=i1jf(i)=1N∑j=iN1jf(i) = \frac{1}{N} \sum_{j = i}^N \frac{1}{j} Natrafiłem na tę dystrybucję z następujących: Mam listę pozycji uszeregowanych według funkcji użyteczności. Chcę losowo wybrać jeden z elementów, kierując się na początek listy. Więc najpierw wybieram indeks pomiędzy 1 a równomiernie. Następnie wybieram …

21 probability terminology discrete-data distributions

2

Dlaczego normalność reszt jest „w ogóle nieistotna” w celu oszacowania linii regresji?

Gelman i Hill (2006) piszą na s. 46, że: Założeniem regresji, które jest na ogół najmniej ważne, jest to, że błędy są zwykle rozkładane. W rzeczywistości, w celu oszacowania linii regresji (w porównaniu z przewidywaniem poszczególnych punktów danych), założenie normalności nie jest wcale ważne. Zatem, w przeciwieństwie do wielu podręczników …

21 regression residuals assumptions

2

Techniki powiększania danych dla ogólnych zestawów danych?

W wielu aplikacjach uczenia maszynowego tak zwane metody powiększania danych pozwoliły na zbudowanie lepszych modeli. Załóżmy na przykład zestaw szkoleniowy zawierający zdjęć kotów i psów. Obracając, odbijając, dostosowując kontrast itp. Można wygenerować dodatkowe obrazy z oryginalnych.100100100 W przypadku obrazów powiększanie danych jest stosunkowo proste. Załóżmy jednak (na przykład), że jeden …

21 machine-learning predictive-models dataset independence data-augmentation

3

Rozkład największego fragmentu złamanego patyka (odstępy)

Niech patyk o długości 1 zostanie podzielony losowo na fragmenty równomiernie. Jaki jest rozkład długości najdłuższego fragmentu?k+1k+1k+1 Bardziej formalnie, niech będzie IID , i niech będą powiązanymi statystykami zamówień, tzn. Po prostu zamawiamy próbka w taki sposób, że . Niech .(U1,…Uk)(U1,…Uk)(U_1, \ldots U_k)U(0,1)U(0,1)U(0,1)(U(1),…,U(k))(U(1),…,U(k))(U_{(1)}, \ldots, U_{(k)})U(1)≤U(2)≤,…,≤U(k)U(1)≤U(2)≤,…,≤U(k)U_{(1)} \leq U_{(2)} \leq, \ldots , …

21 distributions uniform order-statistics dirichlet-distribution maximum

1

interpretacja szacunków regresji logistycznej cloglog

Czy ktoś mógłby mi doradzić, jak interpretować szacunki z regresji logistycznej za pomocą linku cloglog? Zamontowałem następujący model lme4: glm(cbind(dead, live) ~ time + factor(temp) * biomass, data=mussel, family=binomial(link=cloglog)) Na przykład szacunkowy czas wynosi 0,015. Czy słuszne jest twierdzenie, że iloraz śmiertelności na jednostkę czasu jest mnożony przez exp (0,015) …

21 logistic regression-coefficients

3

Od reguły Perceptron do zejścia gradientu: Czym różnią się Perceptrony z funkcją aktywacji sigmoidalnej od regresji logistycznej?

Zasadniczo moje pytanie brzmi: w perceptronach wielowarstwowych perceptrony są używane z funkcją aktywacji sigmoidalnej. Tak więc w regule aktualizacji jest obliczany jakoy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Czym zatem ten „sigmoidalny” Perceptron różni się od regresji logistycznej? Powiedziałbym, że jednowarstwowy sigmoidalny perceptron jest równoważny regresji logistycznej w tym sensie, że obaj używają …

21 logistic classification neural-networks gradient-descent perceptron

3

Lemat Neymana-Pearsona

Przeczytałem lemat Neymana-Pearsona z książki Wprowadzenie do teorii statystyki Mooda, Graybilla i Boesa. Ale nie zrozumiałem lematu. Czy ktoś może mi wyjaśnić lemat prostymi słowami? Co to oznacza? Lemat Neymana-Pearsona: Niech będzie losową próbką z , gdzie θ jest jedną z dwóch znanych wartości θ 0 i θ 1 , …

21 hypothesis-testing self-study references inference likelihood-ratio

1

Kiedy, jeśli kiedykolwiek, mediana statystyki jest wystarczającą statystyką?

Natknąłem się na uwagę w The Chemical Statistician, że mediana próbki może być często wyborem wystarczającej statystyki, ale poza oczywistym przypadkiem jednej lub dwóch obserwacji, w których jest równa średniej próbki, nie mogę wymyślić innej nietrywialnej i iid przypadek, w którym mediana próbki jest wystarczająca.

21 median exponential-family sufficient-statistics chemistry