Statystyki i duże zbiory danych

1

Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia byłyby również mile widziane. edytuj: Od kiedy opublikowałem pytanie, …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

1

Oblicz standardowe błędy Newey-Westa bez obiektu lm w R.

Zadałem to pytanie wczoraj na StackOverflow i otrzymałem odpowiedź, ale zgodziliśmy się, że wydaje się to nieco hackingowe i może być lepszy sposób, aby na to spojrzeć. Pytanie: Chciałbym obliczyć standardowe błędy Newey-Westa (HAC) dla wektora (w tym przypadku wektor zwraca zapas). Funkcja NeweyWest()w sandwichpakiecie robi to, ale pobiera lmobiekt …

13 r standard-error autocorrelation heteroscedasticity

2

Zasoby online do nauki statystyk, ćwiczeń (z rozwiązaniami)?

Obecnie pracuję jako asystent nauczyciela na moim uniwersytecie na kursie statystyki wprowadzającej (dla studentów medycyny). W trybie offline dostępnych jest wiele książek z informacjami, które mogą pomóc nauczycielowi. Jednak chciałbym wiedzieć, czy możesz skierować mnie do jakichkolwiek (dobrych) zasobów, które zapewniają ćwiczenia (z rozwiązaniami) w statystykach, które są dostępne online? …

13 probability references inference descriptive-statistics teaching

1

Obliczenie Mediany Median

Robię wiele raportów na temat nieruchomości, a mediana ceny jest często zgłaszana, szczególnie przez NAR (National Association of Realtors). Jak mogę najlepiej powiedzieć, uzyskują one jedynie mediany cen nieruchomości z każdego obszaru. Moje pytanie brzmi: w jaki sposób należy obliczać medianę krajową, biorąc pod uwagę ograniczenia danych? Jako mediana median, …

13 median

4

Porównanie ogonów dwóch rozkładów próbek

Mam dwa zestawy danych, które są z grubsza wyśrodkowane wokół zera, ale podejrzewam, że mają różne ogony. Znam kilka testów, aby porównać rozkład z rozkładem normalnym, ale chciałbym porównać bezpośrednio te dwa rozkłady. Czy istnieje prosty test umożliwiający porównanie grubości ogona z 2 rozkładów ? Dzięki fRed

13 hypothesis-testing distributions kurtosis fat-tails

1

Czy mogę częściowo zautomatyzować diagnostykę konwergencji MCMC, aby ustawić długość wygrzewania?

Chciałbym zautomatyzować wybór wypalania dla łańcucha MCMC, np. Usuwając pierwsze n wierszy na podstawie diagnostyki zbieżności. W jakim stopniu można bezpiecznie zautomatyzować ten krok? Nawet jeśli nadal dokładnie sprawdzę autokorelację, ślad MCcm i pliki PDF, byłoby miło mieć automatyczny wybór długości wypalenia. Moje pytanie jest ogólne, ale byłoby wspaniale, gdybyś …

13 r bayesian mcmc

1

Interpretacja / wykorzystanie gęstości jądra

To może być naiwne pytanie, ale proszę bardzo. Jeśli mam zestaw danych empirycznych i dopasuję do niego gęstość jądra, a następnie uzyskam nową pojedynczą wartość, która prawdopodobnie pochodzi z tego samego procesu, który wygenerował oryginalny zestaw danych, czy mogę przypisać prawdopodobieństwo, że ta nowa wartość należy do zestawu / proces …

13 kde

2

Zrozumienie AIC i kryterium Schwarz

Korzystam z modelu logistycznego. Rzeczywisty zestaw danych modelu zawiera ponad 100 zmiennych, ale wybieram zestaw danych testowych, w którym jest około 25 zmiennych. Wcześniej stworzyłem również zestaw danych, który zawierał 8–9 zmiennych. Powiedziano mi, że do porównania modelu można użyć wartości AIC i SC. Zauważyłem, że model ma wyższe wartości …

13 model-selection logistic aic

3

Dodawanie współczynników w celu uzyskania efektów interakcji - co zrobić z SE?

Mam regresję wielowymiarową, która obejmuje interakcje. Na przykład, aby uzyskać oszacowanie efektu leczenia dla najbiedniejszego kwintylu, muszę dodać współczynniki z regresora leczenia do współczynnika ze zmiennej interakcji (która oddziałuje na leczenie i kwintyl 1). Jak dodając dwa współczynniki z regresji, jak uzyskać standardowe błędy? Czy można dodać standardowe błędy na …

13 regression standard-deviation standard-error

3

Jak obliczyć estymator skali Qn Rousseeuw'a i Crouxa (1993) dla dużych próbek?

Niech więc dla bardzo krótkiej próbki, takiej jak , można ją obliczyć od znalezienia statycznego tego rzędu różnicy par: { 1 , 3 , 6 , 2 , 7 , 5 } kQn= Cn. { | Xja- Xjot| ; ja<j }( k )Qn=Cn.{|Xi−Xj|;i<j}(k)Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)}{ 1 , 3 …

13 data-transformation scales robust optimal-scaling

4

Testy post hoc w ANCOVA

Pytanie: Jaka jest dobra metoda przeprowadzania testów post hoc różnic między średnimi grupowymi po skorygowaniu o efekt zmiennej towarzyszącej? Przykład prototypowy: Cztery grupy, 30 uczestników na grupę (np. Cztery różne populacje psychologii klinicznej) Zmienna zależna jest liczbą (np. Wyniki wywiadu) Współzmienna jest liczbą (np. Wskaźnik statusu społeczno-ekonomicznego) Pytania badawcze dotyczą …

13 anova multiple-comparisons ancova

3

Łatwe wyjaśnienie wykresu współrzędnych równoległych

Przeczytałem i widziałem wiele wykresów współrzędnych równoległych. Czy ktoś może odpowiedzieć na następujący zestaw pytań: Czym są wykresy współrzędnych równoległych (PCP) w prostych słowach, aby laik mógł to zrozumieć? Matematyczne wyjaśnienie z pewną intuicją, jeśli to możliwe Kiedy PCP jest przydatne i kiedy go używać? Kiedy PCP nie są przydatne …

13 r data-visualization

9

Zwiększone drzewa decyzyjne w pythonie? [Zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 6 miesięcy temu . Czy istnieje dobra biblioteka python do drzewek decyzyjnych przyspieszonych przez trening?

13 python cart boosting

3

Oszacuj wielkość populacji, z której pobierana jest próbka, na podstawie liczby powtórzeń obserwacji

Powiedzmy, że mam populację 50 milionów unikalnych rzeczy i pobieram 10 milionów próbek (z wymianą) ... Pierwszy wykres, do którego załączyłem pokazuje, ile razy próbkuję tę samą „rzecz”, co jest stosunkowo rzadkie populacja jest większa niż moja próba. Jeśli jednak moja populacja liczy tylko 10 milionów rzeczy, a ja pobieram …

13 r sampling expectation-maximization

1

Jak skutecznie modelować sieć neuronową?

Jaki powinien być stosunek liczby obserwacji do liczby zmiennych? Jak wykryć nadmierne dopasowanie w modelu sieci neuronowej i jakie są sposoby uniknięcia nadmiernego dopasowania? Jeśli chcę przeprowadzić klasyfikację za pomocą sieci neuronowej, czy klasy powinny mieć równą częstotliwość? Proszę pomóż mi.

13 neural-networks