Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

6
Szybkie sposoby w R, aby uzyskać pierwszy wiersz ramki danych pogrupowany według identyfikatora [zamknięty]
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 2 lata temu . Czasami muszę uzyskać tylko pierwszy wiersz zestawu danych pogrupowany według identyfikatora, tak jak przy pobieraniu wieku i płci, gdy na osobę …
14 r  dataset  aggregation  plyr 
2
Metody łączenia / zmniejszania kategorii w danych porządkowych lub nominalnych?
Próbuję znaleźć sposób na zmniejszenie liczby kategorii w danych nominalnych lub porządkowych. Powiedzmy na przykład, że chcę zbudować model regresji na zbiorze danych, który ma wiele czynników nominalnych i porządkowych. Chociaż nie mam problemów z tym krokiem, często spotykam się z sytuacjami, w których nominalna cecha jest bez obserwacji w …
4
Czy mogę zmienić rozkład propozycji w MH MCMC z losowym przejściem bez wpływu na Markovianity?
Losowy spacer Metropolis-Hasitings z symetryczną propozycją q(x|y)=g(|y−x|)q(x|y)=g(|y−x|)q(x|y)= g(|y-x|) ma tę właściwość, że prawdopodobieństwo przyjęcia P(accept y)=min{1,f(y)/f(x)}P(accept y)=min{1,f(y)/f(x)}P(accept\ y) = \min\{1, f(y)/f(x)\} nie zależy od propozycji .g(⋅)g(⋅)g(\cdot) Czy to oznacza, że ​​mogę zmienić g(⋅)g(⋅)g(\cdot) w zależności od poprzedniego działania łańcucha, bez wpływu na markovianity łańcucha? Szczególnie interesujące jest dla mnie dostosowanie …
3
Uczenie się ciężarów w maszynie Boltzmanna
Próbuję zrozumieć, jak działają maszyny Boltzmann, ale nie jestem pewien, w jaki sposób uczone są ciężary i nie byłem w stanie znaleźć jasnego opisu. Czy poniższe informacje są prawidłowe? (Również wskazania do każdego dobrego wyjaśnienia maszyny Boltzmanna byłyby również świetne.) Mamy zestaw jednostek widocznych (np. Odpowiadających czarno-białym pikselom na obrazie) …
1
Jaka jest oczekiwana wartość zmodyfikowanego rozkładu Dirichleta? (problem z integracją)
Łatwo jest stworzyć zmienną losową z rozkładem Dirichleta przy użyciu zmiennych Gamma o tym samym parametrze skali. Gdyby: Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) Następnie: (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) Problem Co się stanie, jeśli parametry skali nie będą równe? Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim \text{Gamma}(\alpha_i, \beta_i) Więc jaki …
2
Obliczanie wartości p z dowolnego rozkładu
Mam nadzieję, że to nie jest głupie pytanie. Powiedzmy, że mam dowolną ciągłą dystrybucję. Mam również statystyki i chciałbym użyć tego dowolnego rozkładu, aby uzyskać wartość p dla tej statystyki. Zdaję sobie sprawę, że w R łatwo to zrobić, o ile twoja dystrybucja pasuje do jednego z wbudowanych, tak jakby …
4
Materiały do ​​nauki używania (/ tworzenia) dynamicznej (/ interaktywnej) wizualizacji statystycznej
Chciałbym dowiedzieć się nieco więcej na temat interaktywnej wizualizacji danych (powiększanie, wskazywanie, szczotkowanie, mapowanie punktów i tak dalej). Chciałbym powitać każdego: Samouczek / przewodnik / książka (?) / Wideo na temat korzystania z takich metod w badaniach statystycznych. Wskaźniki dobrych / interesujących interaktywnych pakietów danych (w R i poza nim) …
3
Czy warto analizować dane dotyczące wykrywania sygnału bez stosowania wskaźników pochodzących z teorii wykrywania sygnału?
Eksperyment z wykrywaniem sygnału zwykle przedstawia obserwatorowi (lub systemowi diagnostycznemu) sygnał lub sygnał, a obserwator jest proszony o zgłoszenie, czy uważają, że prezentowany element jest sygnałem czy nie. Takie eksperymenty dają dane wypełniające macierz 2x2: Teoria wykrywania sygnału reprezentuje takie dane, jak scenariusz, w którym decyzja o „sygnale / braku …
2
Zdrowa regresja krokowa?
Załóżmy, że chcę zbudować binarny klasyfikator. Mam kilka tysięcy funkcji i tylko kilka 10 próbek. Z wiedzy domenowej mam dobry powód, by sądzić, że etykietę klasy można dokładnie przewidzieć przy użyciu tylko kilku funkcji, ale nie mam pojęcia, które z nich. Chcę również, aby reguła ostatecznej decyzji była łatwa do …
2
Interpretacja wyjścia drop1 w R.
W R drop1polecenie wypisuje coś porządnego. Te dwa polecenia powinny dostarczyć ci trochę danych wyjściowych: example(step)#-> swiss drop1(lm1, test="F") Mój wygląda następująco: > drop1(lm1, test="F") Single term deletions Model: Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC F value Pr(F) <none> …
5
Kod MCMC skoku w tył (Matlab lub R)
Czy ktoś wie o dobrze napisanym kodzie (w Matlabie lub R) dla MCMC z odwracalnym skokiem? Najlepiej jest to prosta aplikacja demonstracyjna uzupełniająca dokumenty na ten temat, która byłaby przydatna w zrozumieniu procesu.
14 r  matlab  references  mcmc 
3
Usuwanie czynników z 3-kierunkowej tabeli ANOVA
W ostatnim artykule umieściłem trójdrożne modele efektów stałych. Ponieważ jeden z czynników nie był znaczący (p> 0,1), usunąłem go i dopasowałem do modelu z dwoma ustalonymi efektami i interakcją. Właśnie przesłałem komentarze recenzentów, aby zacytować: Ten czas nie był znaczącym czynnikiem w trójdrożnej ANOVA sam w sobie nie jest wystarczającym …
4
Czy istnieją asymptotyki trzeciego rzędu?
Większość asymptotycznych wyników w statystykach dowodzi, że gdy estymator (taki jak MLE) jest zbieżny do rozkładu normalnego opartego na rozszerzeniu Taylora rzędu drugiego funkcji prawdopodobieństwa. Uważam, że w literaturze bayesowskiej istnieje podobny wynik, „Bayesowskie centralne twierdzenie graniczne”, które pokazuje, że a posterior zbiega się asymptotycznie do normalnej jakon→∞n→∞n \rightarrow \inftyn→∞n→∞n …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.