Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

3
Testowanie znaczenia pików w gęstości widmowej
Czasami używamy wykresu gęstości widmowej do analizy okresowości w szeregach czasowych. Zwykle analizujemy fabułę poprzez kontrolę wzrokową, a następnie próbujemy wyciągnąć wnioski na temat okresowości. Ale czy statystycy opracowali jakiś test, aby sprawdzić, czy jakiekolwiek skoki na wykresie różnią się statystycznie od białego szumu? Czy R-eksperci opracowali jakiś pakiet do …
6
Prosta interpretacja wyników regresji liniowej
Przeprowadziłem prostą regresję liniową logarytmu naturalnego 2 zmiennych, aby ustalić, czy są one skorelowane. Moje wyniki są następujące: R^2 = 0.0893 slope = 0.851 p < 0.001 Jestem zdezorientowany. Patrząc na wartość , powiedziałbym, że dwie zmienne nie są skorelowane, ponieważ jest tak bliskie . Jednak nachylenie linii regresji wynosi …
2
Czy obliczyć przybliżone kwantyle dla strumienia liczb całkowitych przy użyciu momentów?
migrował z math.stackexchange . Przetwarzam długi strumień liczb całkowitych i rozważam śledzenie kilku chwil, aby móc w przybliżeniu obliczyć różne percentyle dla strumienia bez przechowywania dużej ilości danych. Jaki jest najprostszy sposób obliczenia percentyli z kilku chwil. Czy istnieje lepsze podejście polegające na przechowywaniu tylko niewielkiej ilości danych?
3
Jak skonfigurować i oszacować wielomianowy model logit w R?
Uruchomiłem wielomianowy model logarytmiczny w JMP i otrzymałem wyniki, które obejmowały AIC oraz wartości p-kwadrat chi dla każdego oszacowania parametru. Model ma jeden kategoryczny wynik i 7 kategorycznych zmiennych objaśniających. Następnie dopasowałem to, co, jak sądziłem, zbuduje ten sam model w R, używając multinomfunkcji w pakiecie nnet . Kod był …
20 r  logistic  multinomial  logit  jmp 
2
Wybór metody rozkładu sezonowego
Dostosowanie sezonowe jest kluczowym etapem wstępnego przetwarzania danych do dalszych badań. Badacz ma jednak wiele opcji rozkładu sezonowego w cyklu trendu. Najczęstszymi (sądząc po liczbie cytowań w literaturze empirycznej) rywalizującymi metodami rozkładu sezonowego są X-11 (12) -ARIMA, Tramo / Seats (oba zaimplementowane w Demetra + ) i 's stl . …
2
Przekształcanie danych proporcji: gdy pierwiastek kwadratowy arcsin nie wystarczy
Czy istnieje (silniejsza?) Alternatywa dla transformacji pierwiastka kwadratowego arcsin dla danych procentowych / procentowych? W zbiorze danych, nad którym obecnie pracuję, znacząca heteroscedastyczność pozostaje po zastosowaniu tej transformacji, tj. Wykres wartości resztowych w stosunku do dopasowanych wartości jest nadal bardzo romboidalny. Edytowane, aby odpowiedzieć na komentarze: dane są decyzjami inwestycyjnymi …
2
Czy używać modelowania równań strukturalnych do analizy badań obserwacyjnych w psychologii
Zauważyłem, że ten problem pojawia się często w ustawieniach konsultacji statystycznych i bardzo chciałem się z Wami zastanowić. Kontekst Często rozmawiam ze studentami badań, którzy przeprowadzili badanie w przybliżeniu w następujący sposób: Badania obserwacyjne Rozmiar próbki może wynosić 100, 200, 300 itd. Zmierzono wiele skal psychologicznych (np. Lęk, depresja, osobowość, …
2
Funkcja „ciekawości” dla pytań StackExchange
Próbuję stworzyć pakiet do eksploracji danych dla stron StackExchange, a w szczególności utknąłem w próbie ustalenia „najciekawszych” pytań. Chciałbym wykorzystać wynik pytania, ale usuwam stronniczość ze względu na liczbę wyświetleń, ale nie wiem, jak podejść do tego rygorystycznie. W idealnym świecie mógłbym sortować pytania, obliczając , gdzievjest liczbą głosów, anjest …
2
Informacje Fishera w modelu hierarchicznym
Biorąc pod uwagę następujący hierarchicznego modelu X∼N( μ ,1),X∼N(μ,1), X \sim {\mathcal N}(\mu,1), a, w którym jest normalny. Czy istnieje sposób na uzyskanie dokładnego wyrażenia dla informacji Fishera o krańcowym rozkładzie danego . To znaczy, jaka jest informacja Fishera dla: Mogę uzyskać wyrażenie dla rozkładu brzeżnego danego , ale różnicowania …
4
Uśrednianie wartości korelacji
Powiedzmy, że testuję, jak zmienna Yzależy od zmiennej Xw różnych warunkach eksperymentalnych i otrzymuję następujący wykres: Linie przerywane na powyższym wykresie reprezentują regresję liniową dla każdej serii danych (konfiguracja eksperymentalna), a liczby w legendzie oznaczają korelację Pearsona dla każdej serii danych. Chciałbym obliczyć „średnią korelację” (lub „średnią korelację”) pomiędzy Xi …
2
Oszacowanie R-kwadrat i istotności statystycznej na podstawie modelu regresji karanej
Używam ukaranego pakietu R, aby uzyskać skurczone oszacowania współczynników dla zbioru danych, w którym mam dużo predyktorów i mało wiem, które z nich są ważne. Po wybraniu parametrów dostrajania L1 i L2 i jestem zadowolony z moich współczynników, czy istnieje statystycznie rozsądny sposób na podsumowanie dopasowania modelu z czymś w …
1
Artykuł o niewłaściwym użyciu metody statystycznej w NYTimes
Mam na myśli ten artykuł: http://www.nytimes.com/2011/01/11/science/11esp.html Rozważ następujący eksperyment. Załóżmy, że istnieje powód, by sądzić, że moneta była lekko obciążona w kierunku głów. W teście moneta pojawia się 527 razy na 1000 głów. Czy to znaczący dowód na ważenie monety? Klasyczna analiza mówi „tak”. Przy uczciwej monecie szanse na uzyskanie …
2
Jak nazwać kleszcze w python matplotlib boxplot
Zablokowana . To pytanie i odpowiedzi są zablokowane, ponieważ pytanie jest nie na temat, ale ma znaczenie historyczne. Obecnie nie akceptuje nowych odpowiedzi ani interakcji. Python matplotlib ma polecenie boxplot . Zazwyczaj wszystkie części wykresu są zaznaczone numerycznie. Jak mogę zmienić tiki na nazwy zamiast pozycji? Na przykład mam na …
2
Jakie są zalety / wady stosowania splajnów, wygładzonych splajnów i emulatorów procesu gaussowskiego?
Interesuje mnie nauka (i wdrażanie) alternatywy dla interpolacji wielomianowej. Mam jednak problem ze znalezieniem dobrego opisu działania tych metod, ich powiązań i porównania. Byłbym wdzięczny za Twój wkład w zalety / wady / warunki, w których te metody lub alternatywy byłyby przydatne, ale wystarczą dobre odniesienia do tekstów, slajdów lub …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.