Statystyki i duże zbiory danych

4

Jak próbkować, gdy nie znasz dystrybucji

Jestem całkiem nowy w statystyce (garść kursów Uni dla początkujących) i zastanawiałem się nad próbkowaniem z nieznanych dystrybucji. W szczególności, jeśli nie masz pojęcia o podstawowej dystrybucji, czy jest jakiś sposób na „zagwarantowanie” otrzymania reprezentatywnej próbki? Przykład do zilustrowania: powiedz, że próbujesz ustalić globalny rozkład bogactwa. Dla każdej osoby możesz …

9 distributions estimation sampling sample-size algorithms

2

Czy muszę mieć tytuł magistra w zakresie „statystyki”, aby zostać zakwalifikowanym jako statystyka? [Zamknięte]

Zamknięte . To pytanie jest oparte na opiniach . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby można było na nie odpowiedzieć faktami i cytatami, edytując ten post . Zamknięte 5 lat temu . Jestem niedawnym absolwentem mojego uniwersytetu, a mój tytuł licencjata jest w dziedzinie statystyki. …

9 careers

1

Dlaczego ta wielokrotna kalkulacja jest niskiej jakości?

Rozważ następujący kod R: > data <- data.frame( a=c(NA,2,3,4,5,6),b=c(2.2,NA,6.1,8.3,10.2,12.13),c=c(4.2,7.9,NA,16.1,19.9,23)) > data a b c 1 NA 2.20 4.2 2 2 NA 7.9 3 3 6.10 NA 4 4 8.30 16.1 5 5 10.20 19.9 6 6 12.13 23.0 Jak widać, opracowałem te dane z grubsza c = 2*b = 4*a. …

9 r data-imputation multiple-imputation

1

Korzystanie z bootstrap w celu uzyskania rozkładu próbkowania 1. percentyla

Mam próbkę (o wielkości 250) z populacji. Nie znam rozkładu populacji. Główne pytanie: Chcę estymację punktową o 1 st -percentile populacji, a następnie chcę 95% przedział ufności wokół mojego punktu oszacowania. Chodzi mi o oszacowanie będzie próbka 1 st -percentile. Oznaczam to .xxx Następnie staram się zbudować przedział ufności wokół …

9 confidence-interval bootstrap quantiles extreme-value

1

Jak interpretować zmienne wykluczone lub zawarte w modelu lasso?

Z innych postów wyciągnąłem wniosek, że nie można przypisywać „ważności” ani „znaczenia” zmiennym predykcyjnym wchodzącym w model lasso, ponieważ obliczanie wartości p lub odchyleń standardowych tych zmiennych jest wciąż w toku. Czy zgodnie z tym rozumowaniem słuszne jest stwierdzenie, że NIE MOŻNA powiedzieć, że zmienne WYŁĄCZONE z modelu lasso są …

9 statistical-significance bootstrap simulation lasso regression-strategies

1

Czy ujemny dwumian nie jest wyrażalny jak w rodzinie wykładniczej, jeśli istnieją 2 niewiadome?

Miałem zadanie domowe, aby wyrazić ujemny rozkład dwumianowy jako wykładniczą rodzinę rozkładów, biorąc pod uwagę, że parametr dyspersji był znaną stałą. Było to dość łatwe, ale zastanawiałem się, dlaczego wymagałyby, abyśmy utrzymali ten parametr w naprawie. Odkryłem, że nie mogę znaleźć sposobu, aby ustawić go we właściwej formie, ponieważ dwa …

9 self-study mathematical-statistics negative-binomial proof exponential-family

2

Jak powstaje wykres „United States of Reddit”?

Poniżej znajduje się wykres z p. 202 Christiana Ruddera Dataclysm , choć został stworzony przez Jamesa Dowdella. To ilustruje relacje między różnymi 200 najpopularniejszymi subredditami, które są obszarami zainteresowania na reddit.com, gdzie użytkownicy mogą przesyłać linki, komentarze i głosy. Są one podobne do tagów na tej stronie. Rozmiar regionów subredditów …

9 clustering data-visualization

1

Związek między sformułowaniami Lasso

To pytanie może być głupie, ale zauważyłem, że istnieją dwie różne formuły regresji Lasso . Wiemy, że problemem Lasso jest zminimalizowanie celu polegającego na stracie kwadratowej powiększonej o karę -1, wyrażoną w następujący sposób: LLLminβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1 \min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \; Ale często widziałem estymator Lasso jako …

9 lasso

1

Obserwowano informacje Fishera w trakcie transformacji

Z „W całym prawdopodobieństwie: modelowanie statystyczne i wnioskowanie przy użyciu prawdopodobieństwa” Y. Pawitana, prawdopodobieństwo ponownej parametryzacji jest zdefiniowane jako więc jeśli g jest jeden do jednego, to L ^ * (\ psi) = L (g ^ {- 1} (\ psi)) (str. 45). Próbuję pokazać ćwiczenie 2.20, które stwierdza, że jeśli …

9 mathematical-statistics inference likelihood fisher-information

1

Wybór priorytetów na podstawie błędu pomiaru

Jak obliczyć odpowiedni wcześniej, jeśli masz błąd pomiaru przyrządu? Ten akapit pochodzi z książki Cressie „Statistics for Spatio-Temporal Data”: Często zdarza się, że dostępne są pewne wcześniejsze informacje dotyczące wariancji błędu pomiaru, co pozwala na określenie dość informacyjnego modelu parametrów. Na przykład, jeśli przyjmujemy warunkowo niezależne błędy pomiaru, które są …

9 bayesian standard-error error prior measurement-error

1

Szacowanie liczby piłek poprzez sukcesywne wybieranie piłki i oznaczanie jej

Powiedzmy, że mam N piłek w torbie. Przy pierwszym losowaniu zaznaczam piłkę i wkładam ją do torby. Podczas drugiego losowania, jeśli podniosę zaznaczoną piłkę, zwracam ją do torby. Jeśli jednak podniosę nieoznakowaną piłkę, oznaczę ją i wrócę do torby. Kontynuuję to dla dowolnej liczby losowań. Jaka jest oczekiwana liczba piłek …

9 probability estimation population combinatorics capture-mark-recapture

1

Testy permutacyjne: kryteria wyboru statystyki testu

Regularnie używam testów permutacyjnych i uwielbiam ich prostotę. Najwięcej nauczyłem się z książki Gooda, w której autor wydaje się dość kreatywny w wyborze statystyk testowych we wszystkich przykładach. Również ten post sprawia wrażenie, że istnieje duża swoboda wyboru statystyki testowej. Zastanawiam się, czy istnieją teoretyczne wymagania, które powinna spełniać statystyka …

9 hypothesis-testing permutation-test

1

Regresja z bardzo małą wielkością próby

Chcę przeprowadzić regresję z 4 do 5 zmiennymi objaśniającymi, ale mam tylko 15 obserwacji. Nie będąc w stanie założyć, że te zmienne są normalnie rozmieszczone, czy istnieje nieparametryczna lub inna poprawna metoda regresji?

9 regression small-sample

1

Metoda ankiety na temat osobistych pożyczek

Mój statystyczny przyjaciel powiedział mi o interesującej technice, która służy do uzyskiwania uczciwych odpowiedzi na ankiety dotyczące delikatnych problemów. Pamiętam ogólną istotę metody, ale zastanawiam się, czy ktokolwiek zna szczegóły i czy można się do niej odwoływać. Historia polegała na tym, że AMA na Florydzie chciało ocenić używanie narkotyków przez …

9 categorical-data survey

2

Jak ocenić dobroć dopasowania do funkcji przetrwania

Jestem nowicjuszem w analizie przeżycia, chociaż mam pewną wiedzę na temat klasyfikacji i regresji. Do regresji mamy statystyki kwadratów MSE i R. Ale jak możemy powiedzieć, że model przeżycia A jest lepszy od modelu przeżycia B, oprócz pewnego rodzaju wykresów graficznych (krzywa KM)? Jeśli to możliwe, proszę wyjaśnić różnicę za …

9 regression survival goodness-of-fit cart rpart