Statystyki i duże zbiory danych

Jakie jest częste podejście do historii woltomierza i jego odmian? Chodzi o to, że analiza statystyczna odwołująca się do hipotetycznych zdarzeń musiałaby zostać zrewidowana, gdyby później dowiedziano się, że te hipotetyczne zdarzenia nie mogły mieć miejsca, jak zakładano. Wersja historii na Wikipedii znajduje się poniżej. Inżynier losuje próbkę lamp elektronowych …

15 likelihood  frequentist 

Dla normalnie rozłożonych danych odchylenie standardowe i mediana odchylenia bezwzględnego MAD są powiązane przez:σσ\sigmaMADMAD\text{MAD} σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,\sigma=\Phi^{-1}(3/4)\cdot \text{MAD}\approx1.4826\cdot\text{MAD}, gdzie jest funkcją skumulowanego rozkładu standardowego rozkładu normalnego.Φ()Φ()\Phi() Czy istnieje podobny związek dla innych dystrybucji?

15 distributions  standard-deviation  mad 

Korzystam z analizy głównych składników (PCA), aby utworzyć indeks wymagany do moich badań. Moje pytanie brzmi: jak powinienem utworzyć pojedynczy indeks, używając zachowanych głównych składników obliczonych za pomocą PCA. Na przykład zdecydowałem się zachować 3 główne składniki po użyciu PCA i obliczyłem wyniki dla tych 3 głównych składników. Jakie są …

15 pca  factor-analysis  rating  composite  scale-construction 

Aby zasymulować rozkład normalny z zestawu zmiennych jednorodnych, istnieje kilka technik: Algorytm Boxa-Mullera , w którym jeden próbkuje dwa niezależne jednolite zmienia się na (0,1)(0,1)(0,1) i przekształca je w dwa niezależne standardowe rozkłady normalne poprzez: Z0=−2lnU1−−−−−−√cos(2πU0)Z1=−2lnU1−−−−−−√sin(2πU0)Z0=−2lnU1cos(2πU0)Z1=−2lnU1sin(2πU0) Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0) metoda CDF , w której można …

15 normal-distribution  simulation  uniform 

Mój profesor statystyczny twierdzi, że wszystkie książki, na które patrzę, stwierdzają: testowanie post-hoc jest nienaukowe. Najpierw musisz wyprowadzić hipotezę z teorii, a następnie zebrać dane i je przeanalizować. Ale tak naprawdę nie rozumiem na czym polega problem. Załóżmy, że widzę dane dotyczące sprzedaży dla różnych kolorów samochodów i formułuję hipotezę, …

15 post-hoc 

Próbuję użyć analizy zmiennych instrumentalnych do wnioskowania o przyczynowości na podstawie danych obserwacyjnych. Natknąłem się na dwustopniową regresję metodą najmniejszych kwadratów (2SLS), która prawdopodobnie rozwiąże problem endogeniczności w moich badaniach. Chciałbym jednak, aby pierwszy etap był OLS, a drugi etap probit w ramach 2SLS. Opierając się na moich lekturach i …

15 stata  probit  instrumental-variables  2sls 

„Zmienna manekina” i „zmienna wskaźnika” to często używane etykiety, aby opisać członkostwo w kategorii z kodowaniem 0/1; zazwyczaj 0: nie należy do kategorii, 1: należy do kategorii. W dniu 26.11.2014 r. Szybkie wyszukiwanie na scholar.google.com (wraz z cytatami) ujawnia, że ​​„zmienna fikcyjna” jest używana w około 318 000 artykułów, a …

15 categorical-data  terminology  categorical-encoding 

Moje doświadczenie dotyczy głównie uczenia maszynowego i starałem się dowiedzieć, co oznacza testowanie hipotezy bayesowskiej. Nie przeszkadza mi bayesowska interpretacja prawdopodobieństwa i znam ją w kontekście probabilistycznych modeli graficznych. Jednak mylę mnie to, co oznacza słowo „hipoteza” w kontekście wnioskowania statystycznego. Wydaje mi się, że najczęściej mylę się ze słownictwem, …

15 hypothesis-testing 

Rozważ urnę zawierającą kulek o różnych kolorach, przy czym jest proporcją kulek koloru wśród kulek ( ). Rysuję kulek z urny bez zamiany i patrzę na liczbę różnych kolorów wśród narysowanych piłek. Jakie jest oczekiwanie \ gamma w funkcji n / N , w zależności od odpowiednich właściwości rozkładu \ …

15 probability  expected-value  coupon-collector-problem 

Z tego, co widziałem, formuła wygładzania Knesera-Neya (drugiego rzędu) jest w jakiś sposób podana jako P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} ze współczynnikiem normalizującym λ(wn−1)λ(wn−1)\lambda(w_{n-1}) podanym jako λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} oraz …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Niedawno kupiłem zasób wywiadu danych, w którym jedno z pytań prawdopodobieństwa było następujące: Biorąc pod uwagę losowania z rozkładu normalnego o znanych parametrach, jak można symulować losowania z rozkładu jednolitego? Mój pierwotny proces myślowy polegał na tym, że dla dyskretnej zmiennej losowej możemy rozbić rozkład normalny na K unikalnych podsekcji, …

15 self-study  normal-distribution  simulation  uniform 

W modelu efektów mieszanych zaleca się stosowanie stałego efektu do oszacowania parametru, jeśli uwzględniono wszystkie możliwe poziomy (np. Zarówno mężczyzn, jak i kobiety). Ponadto zaleca się stosowanie efektu losowego w celu uwzględnienia zmiennej, jeśli uwzględnione poziomy są tylko losową próbką z populacji (pacjenci włączeni z wszechświata możliwych pacjentów), a zamiast …

15 mixed-model  random-effects-model  fixed-effects-model  many-categories 

Uwaga: dołączono teraz 50 punktów surowych danych. Chcę wyświetlić, ile badań wykonałem i ile stron ukończyłem w ciągu tygodnia, w podziale na dni, i zrobiłem to, jak pokazano poniżej: Ludzie mówili mi, że nie mogą zrozumieć wykresów, ale nie mam pojęcia, jak inaczej mogę je wyświetlić. Ponieważ zasadniczo potrzebowałbym trzech …

15 data-visualization 

W wykładach wideo z Harvard's Statistics 110: Prawdopodobieństwo, które można znaleźć na iTunes i YouTube, napotkałem ten problem. Próbowałem to podsumować tutaj: Załóżmy, że otrzymujemy losowy układ dwóch kart ze standardowej talii. Jakie jest prawdopodobieństwo, że obie karty są asami, biorąc pod uwagę, że mamy co najmniej jednego asa? P.( …

15 probability  conditional-probability  intuition 

Mam próbki z mocno wypaczonego (wyglądającego jak rozkład wykładniczy) zestawu danych o udziale użytkowników (np. Liczba postów), które mają różne rozmiary (ale nie mniej niż 200) i chcę porównać ich średnią. W tym celu używam dwóch prób niesparowanych testów t (i testów t ze współczynnikiem Welcha, gdy próbki miały różne …

15 hypothesis-testing  t-test  nonparametric  mean  skewness