Statystyki i duże zbiory danych

1

Czytając odpowiedzi na ten wątek , zacząłem się zastanawiać, w jaki sposób testowanie hipotez odnosi się do metody naukowej . Chociaż dobrze je rozumiem, trudno mi jest precyzyjnie powiązać je między sobą. Na wysokim poziomie metoda naukowa sprowadza się do: Twórz domysły i hipotezy (teoria) Dokonuj prognoz na podstawie tej …

11 hypothesis-testing inference

3

Wyjaśnienie wzoru na medianę najbliższego punktu początkowego N próbek z kuli jednostkowej

W Elements of Statistics Learning wprowadzono problem podkreślenia problemów z k-nn w przestrzeniach o dużych wymiarach. Istnieje punktów danych, które są równomiernie rozmieszczone w kuli jednostkowej wymiarowej.pNNNppp Mediana odległości od początku do najbliższego punktu danych jest wyrażona przez wyrażenie: d(p,N)=(1−(12)1N)1pd(p,N)=(1−(12)1N)1pd(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p} Gdy , formuła rozkłada się do połowy promienia …

11 self-study proof k-nearest-neighbour

3

Czy jest jakaś wartość w zmniejszeniu wymiarowości zbioru danych, w którym wszystkie zmienne są w przybliżeniu ortogonalne?

Załóżmy, że mam zbiór danych wymiarowych, w którym wymiary są w przybliżeniu ortogonalne (mają zerową korelację).NN.N.NN.N.N Czy jest jakieś narzędzie pod względem: Wyobrażanie sobie Reprezentacja (dla wydajności klasyfikatora) Lub inne kryteria wykonać redukcję wymiarowości danych?

11 pca dimensionality-reduction

3

Czy w USA znane są uprzedzenia związane z ankietami telefonicznymi?

Patrzyłem na ankietę WashingtonTimes / ABC, a rozkład wyników, zwłaszcza ze względu na wiek, wydawał mi się zaskakujący. Poszedłem więc szukać uprzedzeń. Stwierdzono: „ankieta została przeprowadzona telefonicznie w dniach 11-14 grudnia 2014 r. Wśród losowej próby 1000 osób dorosłych. Wywiady przeprowadzono w języku angielskim i hiszpańskim na telefonach stacjonarnych i …

11 polling politics

1

Jak uzyskać próbkowanie Gibbsa?

W rzeczywistości waham się zadać to pytanie, ponieważ obawiam się, że zostaną skierowane do innych pytań lub Wikipedii na temat pobierania próbek Gibbs, ale nie mam wrażenia, że opisują to, co jest pod ręką. Biorąc pod uwagę prawdopodobieństwo warunkowe : p ( x | y ) y = y 0 …

11 sampling mcmc gibbs

2

Ekonometria bayesowskiego podejścia do metodologii badania zdarzeń

Badania zdarzeń są szeroko rozpowszechnione w ekonomii i finansach w celu ustalenia wpływu zdarzenia na cenę akcji, ale prawie zawsze opierają się na częstych wnioskach. Regresja OLS - w okresie referencyjnym innym niż okno zdarzenia - jest zwykle stosowana do określenia parametrów wymaganych do modelowania normalnego zwrotu z aktywów. Następnie …

11 bayesian econometrics finance

2

Jeśli mój histogram pokazuje krzywą w kształcie dzwonu, czy mogę powiedzieć, że moje dane są zwykle dystrybuowane?

Stworzyłem histogram dla wieku respondenta i udało mi się uzyskać bardzo ładną krzywą w kształcie dzwonu, z której doszedłem do wniosku, że rozkład jest normalny. Następnie przeprowadziłem test normalności w SPSS, przy n = 169. p (Sig.) Testu Kołmogorowa-Smirnowa jest mniejsza niż 0,05, a zatem dane naruszyły założenie normalności. Dlaczego …

11 normality-assumption kolmogorov-smirnov histogram eda

2

Subtelność wartości p: większa-równa vs. większa

Gdy czytam książkę Wassermanna Wszystkie statystyki, dostrzegam subtelną subtelność w definicji wartości p, której nie mogę zrozumieć. Nieformalnie Wassermann określa wartość p jako [..] prawdopodobieństwo (poniżej ) zaobserwowania wartości statystyki testowej takiej samej lub bardziej ekstremalnej niż rzeczywista obserwowana.H0H0H_0 Podkreślenie dodane. To samo bardziej formalnie (Twierdzenie 10.12): Załóżmy, że test …

11 hypothesis-testing chi-squared p-value

1

Co mój wykres ACF mówi mi o moich danych?

Mam dwa zestawy danych: Moim pierwszym zestawem danych jest wartość inwestycji (w miliardach dolarów) w czasie, przy czym każda jednostka stanowi jeden kwartał od pierwszego kwartału 1947 r. Czas ten rozciąga się na trzeci kwartał 2002 r. Mój drugi zestaw danych jest „wynikiem przekształcenia wartości inwestycji w [pierwszy zestaw danych] …

11 r self-study data-visualization autocorrelation

1

Jaka jest różnica między kontrolowaniem zmiennej w modelu regresji a kontrolowaniem zmiennej w projekcie badania?

Wyobrażam sobie, że kontrolowanie zmiennej w projekcie badania jest bardziej skuteczne w zmniejszaniu błędu niż kontrolowanie jej post hoc w modelu regresji. Czy ktoś mógłby wyjaśnić formalnie, czym różnią się te dwa przypadki „kontrolowania”? Jak stosunkowo są skuteczne w zmniejszaniu błędów i uzyskiwaniu dokładniejszych prognoz?

11 regression experiment-design controlling-for-a-variable

1

Symulacja Monte Carlo w R.

Próbuję rozwiązać następujące ćwiczenie, ale tak naprawdę nie mam pojęcia, jak zacząć to robić. W mojej książce znalazłem kod, który wygląda tak, ale jest to zupełnie inne ćwiczenie i nie wiem, jak je ze sobą powiązać. Jak rozpocząć symulowanie przylotów i skąd mam wiedzieć, kiedy są one ukończone? Wiem, jak …

11 r monte-carlo queueing

4

Wykrywanie wartości odstających w szeregach czasowych: jak zmniejszyć liczbę fałszywych trafień?

Próbuję zautomatyzować wykrywanie wartości odstających w szeregach czasowych i użyłem modyfikacji rozwiązania zaproponowanego przez Roba Hyndmana tutaj . Powiedzmy, że mierzę codzienne wizyty na stronie z różnych krajów. W niektórych krajach, w których codzienne wizyty to kilka setek lub tysięcy, moja metoda wydaje się działać rozsądnie. Jednak w przypadkach, gdy …

11 time-series outliers computational-statistics

1

Korzystanie ze standardowych narzędzi uczenia maszynowego na danych ocenzurowanych po lewej stronie

Zajmuję się tworzeniem aplikacji do prognozowania, której celem jest umożliwienie importerowi prognozowania popytu na jego produkty z sieci klientów-dystrybutorów. Dane dotyczące sprzedaży są dość dobrym wskaźnikiem popytu, o ile istnieją odpowiednie zapasy, aby zaspokoić popyt. Kiedy jednak zapasy są zmniejszane do zera (sytuacja, w której staramy się pomóc naszemu klientowi …

11 r regression machine-learning censoring

2

Dlaczego runif nie generuje zawsze tego samego wyniku?

Dlaczego generatory liczb losowych, takie jak runif()w R, nie generują za każdym razem tego samego wyniku? Na przykład: X <- runif(100) X generuje różne wyniki za każdym razem. Jaki jest powód generowania różnych wyników za każdym razem? Jakie funkcje działa w tle, aby to zrobić?

11 r algorithms random-generation uniform

2

glmnet: Jak zrozumieć parametryzację wielomianową?

Następujący problem: chcę przewidzieć zmienną jakościową z jedną (lub więcej) zmiennymi jakościowymi za pomocą glmnet (). Nie mogę jednak zrozumieć, jaki wynik daje mi glmnet. Ok, najpierw wygenerujmy dwie powiązane zmienne jakościowe: Generuj dane p <- 2 #number variables mu <- rep(0,p) sigma <- matrix(rep(0,p^2), ncol=p) sigma[1,2] <- .8 #some …

11 categorical-data multinomial glmnet