Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Jak silny jest współczynnik korelacji Pearsona z naruszeniami normalności?
Dane dla niektórych rodzajów zmiennych są zwykle nietypowe, gdy są mierzone w poszczególnych populacjach (np. Poziomy depresji w populacji osób z dużym zaburzeniem depresyjnym). Biorąc pod uwagę, że Pearsona zakłada normalność, jak solidna jest statystyka testowa w warunkach nienormalności? Mam szereg zmiennych, dla których chciałbym współczynników korelacji, ale skośność Z …
2
Jak mogę połączyć średnie tylne i wiarygodne przedziały po wielokrotnym przypisaniu?
Użyłem wielokrotnej imputacji, aby uzyskać liczbę kompletnych zestawów danych. Użyłem metod bayesowskich na każdym z kompletnych zestawów danych, aby uzyskać rozkłady tylne dla parametru (efekt losowy). Jak mogę połączyć / połączyć wyniki dla tego parametru? Więcej kontekstu: Mój model jest hierarchiczny w sensie pojedynczych uczniów (jedna obserwacja na jednego ucznia) …
3
Podstawowe statystyki dla jurorów
Zostałem wezwany do pełnienia obowiązków przysięgłych. Jestem świadomy znaczenia statystyk dla niektórych prób jury. Na przykład koncepcja „stawki podstawowej” i jej zastosowanie do obliczania prawdopodobieństwa jest czasem - być może zawsze - istotna. Jakie tematy statystyczne może pożytecznie studiować osoba w mojej sytuacji i jakie materiały byłyby odpowiednie dla osoby …
3
Jak interpretować współczynniki regresji, gdy odpowiedź została przekształcona przez 4. pierwiastek?
Używam czwartej 1/4transformacji mocy root ( ) na mojej zmiennej odpowiedzi, w wyniku heteroscedastyczności. Ale teraz nie jestem pewien, jak interpretować moje współczynniki regresji. Zakładam, że musiałbym przestawić współczynniki na czwartą potęgę podczas transformacji wstecznej (patrz poniżej dane wyjściowe regresji). Wszystkie zmienne wyrażone są w jednostkach dolara w milionach, ale …
6
PCA danych niegaussowskich
Mam kilka szybkich pytań na temat PCA: Czy PCA zakłada, że zestaw danych jest gaussowski? Co się stanie, gdy zastosuję PCA do danych z natury nieliniowych? Biorąc pod uwagę zestaw danych, proces polega najpierw na normalizacji średniej, ustawieniu wariancji na 1, wzięciu SVD, zmniejszeniu rangi, a na końcu odwzorowaniu zestawu …
20 pca  svd 
2
Symulowanie szeregów czasowych przy danej mocy i gęstościach widm poprzecznych
Mam problem z wygenerowaniem zestawu stacjonarnych kolorowych szeregów czasowych, biorąc pod uwagę ich macierz kowariancji (ich gęstości widmowe mocy (PSD) i gęstości widmowe mocy krzyżowej (CSD)). Wiem, że biorąc pod uwagę dwie serie czasowe i , mogę oszacować ich gęstość widmową mocy (PSD) i gęstość krzyżową widmową (CSD) przy użyciu …
3
Dostaję „gwałtowne” ładunki w rollapply PCA w R. Czy mogę to naprawić?
Mam 10 lat dziennych danych zwrotów dla 28 różnych walut. Chcę wyodrębnić pierwszy główny składnik, ale zamiast obsługiwać PCA przez całe 10 lat, chcę zastosować dwuletnie okno, ponieważ zachowania walut ewoluują, więc chcę to odzwierciedlić. Mam jednak poważny problem, to znaczy, że zarówno funkcje princomp (), jak i prcomp () …
20 r  pca 
6
„Fully Bayesian” vs „Bayesian”
Poznałem statystyki bayesowskie i często czytałem artykuły „przyjmujemy podejście bayesowskie” lub coś podobnego. Rzadko też zauważyłem: „przyjmujemy podejście w pełni bayesowskie” (mój nacisk). Czy istnieje jakaś różnica między tymi podejściami w sensie praktycznym lub teoretycznym? FWIW, używam pakietu MCMCglmmw R w przypadku, gdy jest to istotne.
20 bayesian 
4
Radzenie sobie z wartościami 0,1 w regresji beta
Mam pewne dane w [0,1], które chciałbym przeanalizować za pomocą regresji beta. Oczywiście należy coś zrobić, aby uwzględnić wartości 0,1. Nie lubię modyfikować danych, aby pasowały do ​​modelu. również nie uważam, aby inflacja zero i 1 była dobrym pomysłem, ponieważ uważam, że w tym przypadku należy uznać wartości zerowe za …
1
Obliczanie przedziałów prognoz dla regresji logistycznej
Chciałbym zrozumieć, jak generować przedziały prognoz dla oszacowań regresji logistycznej. Poradzono mi, aby postępować zgodnie z procedurami zawartymi w Collett's Modeling Binary Data , 2nd Ed str. 98-99. Po wdrożeniu tej procedury i porównaniu jej z R predict.glm, tak naprawdę uważam, że ta książka pokazuje procedurę obliczania przedziałów ufności , …
2
Walidacja krzyżowa vs empiryczne Bayesa do szacowania hiperparametrów
Biorąc pod uwagę model hierarchiczny , chcę, aby dwuetapowy proces pasował do modelu. Najpierw napraw garść hiperparametrów θ , a następnie wykonaj wnioskowanie bayesowskie na pozostałych parametrach ϕ . Do ustalenia hiperparametrów rozważam dwie opcje.p ( x | ϕ , θ )p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaϕϕ\phi Użyj Empirical Bayesa (EB) i zmaksymalizuj krańcowe prawdopodobieństwo …
6
Zmiana skali zmiennej na 0-100
Zbudowałem indeks kapitału społecznego za pomocą techniki PCA. Indeks ten zawiera wartości zarówno dodatnie, jak i ujemne. Chcę przekształcić / przekonwertować ten indeks na skalę 0-100, aby ułatwić interpretację. Proszę zasugerować mi najłatwiejszy sposób.
1
Błąd w normalnym przybliżeniu do jednolitego rozkładu sumy
Jedną naiwną metodą aproksymacji rozkładu normalnego jest dodanie razem może zmiennych losowych IID równomiernie rozmieszczonych na , a następnie recenter i przeskalowanie, w oparciu o centralne twierdzenie graniczne. ( Uwaga dodatkowa : Istnieją dokładniejsze metody, takie jak transformacja Boxa-Mullera ). Suma zmiennych losowych IID jest znana jako rozkład sumy jednolitej …
2
Jakie jest teoretyczne uzasadnienie dla bayesowskich wiarygodnych procedur interwałów?
(Aby zobaczyć, dlaczego to napisałem, sprawdź komentarze poniżej mojej odpowiedzi na to pytanie ). Błędy typu III i teoria decyzji statystycznych Udzielenie prawidłowej odpowiedzi na złe pytanie jest czasem nazywane błędem typu III. Statystyczna teoria decyzji jest formalizacją procesu decyzyjnego w warunkach niepewności; zapewnia ramy koncepcyjne, które mogą pomóc w …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.