Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Uzyskiwanie i interpretacja przedziałów ufności bootstrapped na podstawie danych hierarchicznych
Interesuje mnie uzyskanie przedziału ufności ładowania początkowego dla ilości X, gdy ta ilość jest mierzona 10 razy u każdej z 10 osób. Jednym podejściem jest uzyskanie średniej na osobę, a następnie ładowanie środków (np. Ponowne próbkowanie środków z wymianą). Innym podejściem jest wykonanie następujących czynności przy każdej iteracji procedury ładowania …
2
Trójca testów o najwyższym prawdopodobieństwie: co zrobić w obliczu sprzecznych wniosków?
Testy Wald, iloraz wiarygodności i mnożnik Lagrange'a w kontekście szacowania maksymalnego prawdopodobieństwa są asymptotycznie równoważne. Jednak w przypadku małych próbek mają one tendencję do rozbieżności, a w niektórych przypadkach prowadzą do różnych wniosków. Jak można je uszeregować według prawdopodobieństwa odrzucenia wartości zerowej? Co zrobić, gdy testy mają sprzeczne odpowiedzi? Czy …
1
Twierdzenie o braku obiadu i zgodność K-NN
W uczeniu obliczeniowym twierdzenie NFL stwierdza, że ​​nie ma uniwersalnego ucznia. Dla każdego algorytmu uczenia się istnieje rozkład, który powoduje, że uczeń wysyła hipotezę z dużym błędem, z dużym prawdopodobieństwem (choć istnieje hipoteza o niskim błędzie). Wniosek jest taki, że aby się uczyć, klasa hipotez lub dystrybucje muszą być ograniczone. …
1
Jakie jest prawdopodobieństwo tego procesu?
Pacjent zostaje przyjęty do szpitala. Ich długość pobytu zależy od 2 rzeczy: ciężkości urazu i wysokości ubezpieczenia, jaką jest skłonny zapłacić, aby zatrzymać je w szpitalu. Niektórzy pacjenci odejdą przedwcześnie, jeśli ich ubezpieczenie zdecyduje się przestać płacić za pobyt. Załóż, że: 1) Długość pobytu jest rozłożona poissonem (załóżmy, że może …
1
t-SNE z mieszanymi zmiennymi ciągłymi i binarnymi
Obecnie badam wizualizację danych wielowymiarowych za pomocą t-SNE. Mam pewne dane z mieszanymi zmiennymi binarnymi i ciągłymi, a dane wydają się zbyt łatwo grupować dane binarne. Oczywiście jest to oczekiwane w przypadku danych skalowanych (od 0 do 1): odległość euklidesowa zawsze będzie największa / najmniejsza między zmiennymi binarnymi. Jak należy …
1
Czy procesy stochastyczne, takie jak proces Gaussa / proces Dirichleta, mają gęstość? Jeśli nie, w jaki sposób można zastosować do nich regułę Bayesa?
Proces Dirichleta i Proces Gaussa są często nazywane „rozkładami na funkcje” lub „rozkładami na rozkłady”. W takim przypadku, czy mogę sensownie mówić o gęstości funkcji u lekarza ogólnego? Czy proces Gaussa lub proces Dirichleta mają jakieś pojęcie o gęstości prawdopodobieństwa? Jeśli tak nie jest, w jaki sposób możemy zastosować zasadę …
2
Minimalny rozmiar próbki na klaster w modelu efektu losowego
Czy istnieje uzasadnienie dla liczby obserwacji przypadających na klaster w modelu efektu losowego? Mam próbkę o wielkości 1500 z 700 klastrami zamodelowanymi jako wymienny efekt losowy. Mam opcję łączenia klastrów w celu tworzenia mniejszych, ale większych klastrów. Zastanawiam się, jak mogę wybrać minimalną wielkość próbki na klaster, aby uzyskać znaczące …
2
Dlaczego w regresji liniowej powinniśmy uwzględniać wyrażenia kwadratowe, gdy interesują nas tylko terminy interakcji?
Załóżmy, że interesuje mnie model regresji liniowej Yja=β0+β1x1+β2)x2)+β3)x1x2)Yi=β0+β1x1+β2x2+β3x1x2Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2, ponieważ chciałbym sprawdzić, czy interakcja między dwoma zmiennymi towarzyszącymi ma wpływ na Y. W notatkach dla profesorów (z którymi nie mam kontaktu) napisano: Przy uwzględnianiu warunków interakcji należy podać warunki drugiego stopnia. to znaczyYja=β0+β1x1+β2)x2)+β3)x1x2)+β4x2)1+β5x2)2)Yi=β0+β1x1+β2x2+β3x1x2+β4x12+β5x22Y_i …
1
Znajdź UMVUE z
Pozwolić X1,X2,...,XnX1,X2,...,XnX_1, X_2, . . . , X_n być zmiennymi losowymi mającymi pdf fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)f_X(x\mid\theta) =\theta(1 +x)^{−(1+\theta)}I_{(0,\infty)}(x) gdzie θ>0θ>0\theta >0. Podaj UMVUE z1θ1θ\frac{1}{\theta} i obliczyć jego wariancję Dowiedziałem się o dwóch takich metodach dla uzyskanych UMVUE: Cramer-Rao Lower Bound (CRLB) Lehmann-Scheffe Thereom Spróbuję tego przy użyciu pierwszego z nich. Muszę przyznać, …
1
Interpretacja efektów stałych z regresji logistycznej efektu mieszanego
Jestem zdezorientowany stwierdzeniami na stronie UCLA o regresji logistycznej z efektami mieszanymi. Pokazują tabelę stałych współczynników efektów z dopasowania takiego modelu, a pierwszy akapit poniżej wydaje się interpretować współczynniki dokładnie tak, jak normalna regresja logistyczna. Ale kiedy mówią o ilorazach szans, mówią, że musisz je interpretować zależnie od losowych efektów. …
2
„Znacząca zmienna”, która nie poprawia przewidywań poza próbą - jak interpretować?
Mam pytanie, które moim zdaniem będzie dość proste dla wielu użytkowników. Używam modeli regresji liniowej, aby (i) zbadać związek kilku zmiennych objaśniających i mojej zmiennej odpowiedzi oraz (ii) przewidzieć moją zmienną odpowiedzi za pomocą zmiennych objaśniających. Wydaje się, że jedna szczególna zmienna objaśniająca X ma znaczący wpływ na moją zmienną …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.