Statystyki i duże zbiory danych

Mam funkcję, która zwraca średni czas oczekiwania dla użytkownika sieci. Oznacza to, że daje średni czas, w którym przeciętny użytkownik może pozostać na stronie internetowej, biorąc pod uwagę długość zasobu internetowego w słowach. Chcę użyć tej funkcji (i wynikowej średniej) w połączeniu z rozkładem do modelowania „przeciętnego użytkownika sieci” przeglądającego …

9 distributions 

Jestem całkiem pewien, że rozumiem, jak działa integracja Monte Carlo, ale nie rozumiem sformułowania, w jaki sposób jest ona używana do oszacowania Pi. Postępuję zgodnie z procedurą opisaną na 5. slajdzie tej prezentacji http://homepages.inf.ed.ac.uk/imurray2/teaching/09mlss/slides.pdf Rozumiem wstępne kroki. Pi jest równe 4-krotności pola jednej czwartej okręgu jednostki. A obszar prawej górnej …

9 monte-carlo  indicator-function 

Chcę zawrzeć termin i jego kwadrat (zmienne predykcyjne) w regresji, ponieważ zakładam, że niskie wartości mają pozytywny wpływ na zmienną zależną, a wysokie wartości mają negatywny wpływ. powinien obejmować działanie wyższych wartości. Oczekuję zatem, że współczynnik będzie dodatni, a współczynnik będzie ujemny. Oprócz uwzględniam także inne zmienne predykcyjne.xxxx2x2x^2xxxx2x2x^2xxxx2x2x^2xxx Czytałem w …

9 regression  multiple-regression  polynomial  centering 

Domyślnie, gdy używamy glmfunkcji w R, używa iteracyjnie przeważonej metody najmniejszych kwadratów (IWLS) w celu znalezienia parametrów maksymalnego prawdopodobieństwa. Teraz mam dwa pytania. Czy szacunki IWLS gwarantują globalne maksimum funkcji wiarygodności? Na podstawie ostatniego slajdu w tej prezentacji, myślę, że nie! Chciałem się tylko upewnić. Czy możemy powiedzieć, że przyczyną …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Mam te dane: set.seed(1) predictor <- rnorm(20) set.seed(1) counts <- c(sample(1:1000, 20)) df <- data.frame(counts, predictor) Przeprowadziłem regresję Poissona poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson") I ujemna regresja dwumianowa: require(MASS) nb_counts <- glm.nb(counts ~ predictor, data = df) Następnie obliczyłem statystyki dyspersji dla regresji Poissona: …

9 generalized-linear-model  residuals  negative-binomial  poisson-regression  dispersion 

Przejrzałem artykuł oparty na aplikacji, mówiąc, że zastosowanie PCA przed zastosowaniem ICA (przy użyciu pakietu fastICA). Moje pytanie brzmi: czy ICA (fastICA) wymaga uruchomienia PCA w pierwszej kolejności? W artykule wspomniano o tym ... argumentuje się również, że wstępne zastosowanie PCA poprawia wydajność ICA poprzez (1) odrzucenie małych końcowych wartości …

9 pca  dimensionality-reduction  pattern-recognition  ica 

Jest to problem praktyczny podczas egzaminu śródokresowego. Problemem jest przykład algorytmu EM. Mam problem z częścią (f). Podaję części (a) - (e) do uzupełnienia i na wypadek, gdyby wcześniej popełniłem błąd. Niech będą niezależnymi wykładniczymi zmiennymi losowymi o współczynniku . Niestety rzeczywiste wartości nie są przestrzegane i obserwujemy tylko, czy …

9 self-study  maximum-likelihood  latent-variable  expectation-maximization 

Patrzę na czas wymagany przez sędziów na podjęcie decyzji. Każdy sędzia ocenia liczbę kandydatów i może albo zatwierdzić, albo nie. Sprawa kończy się, gdy sędzia wydaje sprawozdanie, co może trochę potrwać po rozprawie. Pod koniec okresu badania wiele spraw było nadal otwartych. Chcę oszacować średni czas wymagany do przejścia spraw …

9 survival 

Załóżmy, że mam zestaw danych punktów 2D i chcę wykryć kierunki wszystkich lokalnych maksimów wariancji w danych, na przykład: PCA nie pomaga w tej sytuacji, ponieważ jest to rozkład ortogonalny i dlatego nie może wykryć obu linii wskazanych przeze mnie na niebiesko, a raczej jego wynik może wyglądać jak ten …

9 pca  dimensionality-reduction 

Gdy (tzn. pochodzi z modelu regresji liniowej), w tym przypadku resztki są skorelowane i nie są niezależne. Ale kiedy wykonujemy diagnostykę regresji i chcemy przetestować założenie , każdy podręcznik sugeruje użycie wykresów Q – Q i testów statystycznych dla reszt które zostały zaprojektowane do testowania, czy dla niektórych .Y= A …

9 regression  residuals  non-independent 

Chcę przewidzieć grupy przedmiotów, które ktoś kupi ... tzn. Mam wiele zmiennych zależnych od linii. Zamiast budować około 7 niezależnych modeli w celu przewidzenia prawdopodobieństwa, że ​​ktoś kupi każdy z 7 przedmiotów, a następnie łącząc wyniki, jakie metody powinienem sprawdzić, aby mieć jeden model uwzględniający relacje między 7 powiązanymi zmiennymi …

9 r  machine-learning  multivariate-analysis 

Pracuję nad modelem kosztów predykcyjnych, w którym wiek pacjenta (liczba całkowita mierzona w latach) jest jedną ze zmiennych predykcyjnych. Widoczny jest silny nieliniowy związek między wiekiem a ryzykiem hospitalizacji: Rozważam spline wygładzenie regresji wygładzającej dla wieku pacjenta. Według The Elements of Statistics Learning (Hastie i in., 2009, s. 151) optymalne …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Mam na myśli dowolny powód poza wygodą ukończenia analizy w ramach jednej procedury.

9 anova 

Załóżmy następującą konfigurację: Niech Zi=min{ki,Xi},i=1,...,nZi=min{ki,Xi},i=1,...,nZ_i = \min\{k_i, X_i\}, i=1,...,n . Również Xi∼U[ai,bi],ai,bi>0Xi∼U[ai,bi],ai,bi>0X_i \sim U[a_i, b_i], \; a_i, b_i >0 . Ponadto ki=cai+(1−c)bi,0<c<1ki=cai+(1−c)bi,0<c<1k_i = ca_i + (1-c)b_i,\;\; 0 k_i) = 1- \Pr(X_i \le k_i) =1−ki−aibi−ai=1−(1−c)(bi−ai)bi−ai=c=1−ki−aibi−ai=1−(1−c)(bi−ai)bi−ai=c= 1- \frac {k_i - a_i}{b_i-a_i} = 1-\frac {(1-c)(b_i-a_i)}{b_i-a_i} =c Więc we wszystkich faZja(zja) =⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪0zja<zajazja-zajabja-zajazaja≤zja<kja1kja≤zjafaZja(zja)={0zja<zajazja-zajabja-zajazaja≤zja<kja1kja≤zjaF_{Z_i}(z_i) = \begin{cases} …

9 distributions  central-limit-theorem  censoring  minimum 

Oczywiście błędne jest założenie, że brak odrzucenia wartości null oznacza, że ​​wartość null jest prawdziwa. Ale w przypadku, gdy wartość zerowa nie jest odrzucana, a odpowiadający jej przedział ufności (CI) jest wąski i wyśrodkowany wokół zera, czy nie dostarcza to dowodów na wartość zerową? Mam dwa zdania: tak, w praktyce …

9 hypothesis-testing  statistical-significance  confidence-interval