Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Analiza czynnikowa danych dynamicznych
Anonimowy czytelnik opublikował następujące pytanie na moim blogu . Kontekst: Czytelnik chciał przeprowadzić analizę czynnikową na skalach z kwestionariusza - ale dane pochodziły od sparowanych mężów i żon. Pytanie: Czy analizę czynnikową można uruchomić na danych dynamicznych? Jeśli tak to jak? Czy założenie dotyczące niezależności miałoby zastosowanie do analizy czynnikowej?
2
Koniugat przed rozkładem gamma
Muszę zaktualizować wskaźnik awaryjności (podany jako deterministyczny) w oparciu o nowy wskaźnik awaryjności w tym samym systemie (jest on również deterministyczny). Czytałem o sprzężonych priorsach i rozkładzie gamma jako sprzężonych z procesem Poissona. Mogę również zrównać średnią wartość dystansu Gamma. ( ) do nowej stawki (jako wartość średnia), ale nie …
9 bayesian 
2
Dynamiczne obliczanie liczby próbek wymaganych do oszacowania średniej
Próbuję oszacować średnią mniej więcej rozkładu Gaussa za pomocą próbkowania. Nie mam wcześniejszej wiedzy na temat jego średniej lub wariancji. Każda próbka jest droga do uzyskania. Jak dynamicznie decydować, ile próbek potrzebuję, aby uzyskać określony poziom pewności / dokładności? Alternatywnie, skąd mam wiedzieć, kiedy mogę przestać pobierać próbki? Wszystkie odpowiedzi …
2
Obliczanie skumulowanego rozkładu maksymalnego wykorzystania losowego marszu z dryfowaniem
Interesuje mnie rozkład maksymalnego wykorzystania losowego marszu: Niech gdzie . Maksymalna po okresach wynosi . Artykuł Magdona-Ismaila i in. glin. daje rozkład maksymalnego wyciągnięcia ruchu Browna z dryfowaniem. Wyrażenie obejmuje nieskończoną sumę, która obejmuje niektóre terminy zdefiniowane tylko pośrednio. Mam problemy z napisaniem implementacji, która jest zbieżna. Czy ktoś jest …
3
O zastosowaniu skośnego obrotu po PCA
Kilka pakietów statystycznych, takich jak SAS, SPSS i R, umożliwia wykonanie pewnego rodzaju rotacji czynników po PCA. Dlaczego rotacja jest konieczna po PCA? Dlaczego miałbyś stosować obrót skośny po PCA, skoro PCA ma na celu uzyskanie wymiarów ortogonalnych?
1
Pożądane i niepożądane właściwości kwadratów łacińskich w eksperymentach?
Pobieżne wyszukiwanie ujawnia, że łacińskie kwadraty są dość szeroko stosowane w projektowaniu eksperymentów. Podczas mojego doktoratu badałem różne teoretyczne właściwości kwadratów łacińskich (z punktu widzenia kombinatoryki), ale nie mam głębokiego zrozumienia, co takiego jest w kwadratach łacińskich, co czyni je szczególnie odpowiednimi do projektowania eksperymentalnego. Rozumiem, że łacińskie kwadraty pozwalają …
2
Pomiar dobroci dopasowania w modelu, który łączy dwa rozkłady
Mam dane z podwójnym pikiem, które próbuję zamodelować, a piki pokrywają się wystarczająco, że nie mogę ich traktować niezależnie. Histogram danych może wyglądać mniej więcej tak: Stworzyłem do tego dwa modele: jeden wykorzystuje dwa rozkłady Poissona, a drugi dwa ujemne rozkłady dwumianowe (aby uwzględnić nadmierną dyspersję). Jaki jest właściwy sposób, …
3
Jak tworzymy przedział ufności dla parametru testu permutacji?
Testy permutacyjne to testy istotności oparte na próbkach permutacyjnych losowo pobranych z oryginalnych danych. Próbki permutacji są rysowane bez zamiany, w przeciwieństwie do próbek bootstrap, które są rysowane z zamianą. Oto przykład, który zrobiłem w R prostego testu permutacji. (Twoje komentarze są mile widziane) Testy permutacyjne mają ogromne zalety. Nie …
3
Rozmiary efektu regresji liniowej przy zastosowaniu transformowanych zmiennych
Podczas przeprowadzania regresji liniowej często przydatne jest wykonanie transformacji, takiej jak transformacja logarytmiczna dla zmiennej zależnej, aby uzyskać lepszą konformację rozkładu normalnego. Często przydatne jest również sprawdzenie beta z regresji, aby lepiej ocenić rozmiar efektu / rzeczywistą trafność wyników. Rodzi to problem polegający na tym, że przy użyciu np. Transformacji …
3
Obliczanie najlepszego podzbioru predyktorów dla regresji liniowej
Jakie metody są dostępne do wyboru predyktorów w wielowymiarowej regresji liniowej za pomocą odpowiednich predyktorów, aby znaleźć „optymalny” podzbiór predyktorów bez wyraźnego testowania wszystkich podzbiorów ? W „Applied Survival Analysis” Hosmer i Lemeshow odnoszą się do metody Kuka, ale nie mogę znaleźć oryginalnej pracy. Czy ktoś może opisać tę metodę, …
2
Porównanie dwóch algorytmów genetycznych
Mam dwie implementacje algorytmu genetycznego, które powinny zachowywać się jednakowo. Jednak z powodu ograniczeń technicznych, których nie można rozwiązać, ich moc wyjściowa nie jest dokładnie taka sama, biorąc pod uwagę te same dane wejściowe. Nadal chciałbym pokazać, że nie ma znaczącej różnicy w wydajności. Mam 20 przebiegów z tą samą …
2
Jak zidentyfikować funkcje przenoszenia w modelu prognozowania regresji szeregów czasowych?
Próbuję zbudować model prognozowania regresji szeregów czasowych dla zmiennej wynikowej, w kwocie dolarowej, pod względem innych predyktorów / zmiennych wejściowych i błędów autokorelowanych. Ten rodzaj modelu nazywany jest również modelem regresji dynamicznej. Muszę nauczyć się rozpoznawać funkcje przenoszenia dla każdego predyktora i chciałbym usłyszeć od ciebie o tym, jak to …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.