Statystyki i duże zbiory danych

2

Czy drugim parametrem rozkładu normalnego jest wariancja czy odchylenie standardowe?

Czasami widziałem, że podręczniki odnoszą się do drugiego parametru w rozkładzie normalnym jako odchylenie standardowe i wariancja. Na przykład zmienna losowa X ~ N (0, 4). Nie jest jasne, czy sigma czy sigma do kwadratu równa się 4. Chcę tylko znaleźć ogólną konwencję, która jest stosowana, gdy odchylenie standardowe lub …

15 distributions normal-distribution

1

Klasyfikator vs model vs estymator

Jaka jest różnica między klasyfikatorem, modelem a estymatorem? Z tego co mogę powiedzieć: estymator jest predyktorem znalezionym na podstawie algorytmu regresji klasyfikator to predyktor znaleziony na podstawie algorytmu klasyfikacji model może być zarówno estymatorem, jak i klasyfikatorem Ale patrząc z Internetu wydaje się, że te definicje mogą być pomieszane. Więc …

15 machine-learning

2

Rekurencyjne aktualizowanie MLE w miarę pojawiania się nowych obserwacji

Pytanie ogólne Załóżmy, że mamy przesyłane dane , , ... \ sim f (x \, | \, \ boldsymbol {\ theta}) . Chcemy rekurencyjnie obliczyć oszacowanie maksymalnego prawdopodobieństwa \ boldsymbol {\ theta} . To znaczy, po obliczeniu \ hat {\ boldsymbol {\ theta}} _ {n-1} = \ underset {\ boldsymbol …

15 maximum-likelihood online

2

Dlaczego skurcz naprawdę działa, co jest takiego specjalnego w 0?

Na tej stronie jest już post mówiący o tym samym problemie: Dlaczego działa skurcz? Ale mimo że odpowiedzi są popularne, nie sądzę, aby sedno pytania zostało naprawdę rozwiązane. Oczywiste jest, że wprowadzenie błędu systematycznego w estymacji powoduje zmniejszenie wariancji i może poprawić jakość estymacji. Jednak: 1) Dlaczego szkody wyrządzone przez …

15 regularization ridge-regression shrinkage

2

Dlaczego rozkład krańcowy / prawdopodobieństwo krańcowe określa się jako „krańcowy”?

Marginal ogólnie odnosi się do czegoś, co jest małym efektem, czegoś, co znajduje się na zewnątrz większego systemu. Ma tendencję do zmniejszania znaczenia tego, co określa się jako „marginalne”. Jak to się ma do prawdopodobieństwa podzbioru zmiennych losowych? Zakładając, że słowa przyzwyczają się ze względu na ich znaczenie, mogą być …

15 probability terminology

3

Jakie są zalety regresji liniowej w porównaniu z regresją kwantową?

Model regresji liniowej przyjmuje szereg założeń, że regresja kwantylowa nie spełnia, a jeśli założenia regresji liniowej zostaną spełnione, to moja intuicja (i pewne bardzo ograniczone doświadczenie) jest taka, że regresja mediana dałaby prawie identyczne wyniki jak regresja liniowa. Jakie zalety ma regresja liniowa? Z pewnością jest bardziej znajomy, ale poza …

15 regression multiple-regression quantile-regression

7

Jaką krzywą (lub model) powinienem dopasować do danych procentowych?

Próbuję stworzyć postać, która pokazuje związek między kopiami wirusów a pokryciem genomu (GCC). Tak wyglądają moje dane: Na początku po prostu nakreśliłem regresję liniową, ale moi przełożeni powiedzieli mi, że to nieprawda, i wypróbowałem krzywą sigmoidalną. Zrobiłem to za pomocą geom_smooth: library(scales) ggplot(scatter_plot_new, aes(x = Copies_per_uL, y = Genome_cov, colour …

15 regression modeling curve-fitting percentage

2

Czy testy nadmiernej dyspersji w GLM są * przydatne *?

Zjawisko „nadmiernej dyspersji” w GLM powstaje za każdym razem, gdy używamy modelu, który ogranicza wariancję zmiennej odpowiedzi, a dane wykazują większą wariancję, niż pozwala na to ograniczenie modelu. Zdarza się to często podczas modelowania danych zliczeniowych przy użyciu Poissona GLM i można je zdiagnozować za pomocą dobrze znanych testów. Jeśli …

15 generalized-linear-model poisson-regression overdispersion quasi-likelihood

1

Czy suma dwóch drzew decyzyjnych jest równoważna pojedynczemu drzewu decyzyjnemu?

Załóżmy, że mamy dwóch drzew regresji (drzewie i drzewa B) odwzorowanych wejściowe do wyjścia y ∈ R . Niech Y = F A ( x ) w drzewie i F B ( x ) na drzewa B. Każde drzewo wykorzystuje dzieli binarnej hiperplaszczyzn jako funkcji oddzielających.x ∈ Rrex∈Rrex \in \mathbb{R}^dy^∈ …

15 regression machine-learning cart

2

Jakie są ważne zastosowania generowania liczb losowych w statystyce obliczeniowej?

Jak i dlaczego generatory liczb losowych (RNG) są ważne w statystyce obliczeniowej? Rozumiem, że losowość jest ważna przy wyborze próbek do wielu testów statystycznych, aby uniknąć stronniczości wobec którejkolwiek hipotezy, ale czy istnieją inne obszary statystyki obliczeniowej, w których ważne są generatory liczb losowych?

15 hypothesis-testing monte-carlo algorithms random-generation computational-statistics

5

Dlaczego ?

15 probability bayesian

3

Czy mogę użyć małego zestawu do sprawdzania poprawności?

Rozumiem powody dzielenia danych na zestaw testowy i zestaw walidacyjny. Rozumiem również, że rozmiar podziału będzie zależał od sytuacji, ale ogólnie będzie wynosił od 50/50 do 90/10. Zbudowałem RNN, aby poprawić pisownię i zacząłem od zestawu danych ~ 5m zdań. Ogoliłem 500 000 zdań, a następnie trenowałem z pozostałymi ~ …

15 machine-learning neural-networks validation

2

Intuicja na temat estymacji parametrów w modelach mieszanych (parametry wariancji vs. tryby warunkowe)

Czytałem wiele razy, że efekty losowe (BLUP / tryby warunkowe dla, powiedzmy, badanych) nie są parametrami liniowego modelu efektów mieszanych, ale zamiast tego można je wyprowadzić z oszacowanych parametrów wariancji / kowariancji. Np. Reinhold Kliegl i in. (2011) stan: Efekty losowe to odchylenia badanych od średniej średniej RT i odchylenia …

15 mixed-model intuition blup

3

Kiedy nie można kontrolować zmiennej?

Mogę wymyślić przynajmniej jeden naiwny przykład. Załóżmy, że chcę zbadać związek między X i Z. Podejrzewam także, że Y wpływa na Z, więc kontroluję Y. Jednak, jak się okazuje, X nie wie o mnie, X powoduje Y, a Y powoduje Z. Dlatego kontrolując dla Y „zakrywam” związek między X i …

15 mediation controlling-for-a-variable

3

Użycie glm () jako zamiennika prostego testu chi kwadrat

Interesuje mnie zmiana hipotez zerowych za pomocą glm()R. Na przykład: x = rbinom(100, 1, .7) summary(glm(x ~ 1, family = "binomial")) sprawdza hipotezę, że p=0.5p=0.5p = 0.5 . Co jeśli chcę zmienić wartość null na ppp = jakąś dowolną wartość, w obrębie glm()? Wiem, że można to zrobić również za …

15 r hypothesis-testing generalized-linear-model chi-squared offset