Statystyki i duże zbiory danych

1

Rozumiem więc, że wybór zmiennych jest częścią wyboru modelu. Ale na czym dokładnie polega wybór modelu? Czy to coś więcej niż następujące: 1) wybierz rozkład dla swojego modelu 2) wybrać zmienne objaśniające,? Pytam o to, ponieważ czytam artykuł Burnham i Anderson: AIC kontra BIC, w którym mówią o AIC i …

12 feature-selection model-selection aic bic

1

Czy w Oz będzie kiedyś nieszczęśliwy Tribble?

Oto zabawny problem przyniesiony mi przez studenta. Chociaż pierwotnie było sformułowane w kategoriach wzajemnie anihilujących pocisków wystrzeliwanych w regularnych odstępach przez broń, pomyślałem, że może ci się podobać bardziej spokojna prezentacja. W nieskończonym płaskim świecie Oz Żółta Ceglana Droga zaczyna się w centrum Szmaragdowego Miasta, odpręża się na wsi i …

12 probability stochastic-processes puzzle

3

Jaki jest przykład doskonałej wielokoliniowości?

Jaki jest przykład idealnej kolinearności pod względem macierzy projektowej ?XXX Chciałbym przykład, w którym nie można oszacować, ponieważ nie jest odwracalny.β^=(X′X)−1X′Yβ^=(X′X)−1X′Y\hat \beta = (X'X)^{-1}X'Y(X′X)(X′X)(X'X)

12 regression multicollinearity matrix matrix-inverse

2

ICC jako oczekiwana korelacja między dwiema losowo losowanymi jednostkami, które są w tej samej grupie

W modelowaniu wielopoziomowym korelacja wewnątrzklasowa jest często obliczana na podstawie analizy ANOVA z efektami losowymi yI j= γ00+ ujot+ ejajyjajot=γ00+ujot+mijajot y_{ij} = \gamma_{00} + u_j + e_{ij} gdzie to poziomu 2, a to reszty poziomu 1. Następnie otrzymujemy oszacowania, i dla wariancji odpowiednio i , i je do następującego równania:ujotujotu_jmiI …

12 correlation mixed-model intraclass-correlation

3

Czy założenie błędów normalnych oznacza, że Y jest również normalne?

O ile się nie mylę, zakłada się, że w modelu liniowym rozkład odpowiedzi ma składową systematyczną i składową losową. Termin błędu przechwytuje składową losową. Dlatego jeśli założymy, że termin błędu jest normalnie dystrybuowany, czy nie oznacza to, że odpowiedź jest również normalnie dystrybuowana? Myślę, że tak, ale stwierdzenia takie jak …

12 regression assumptions

1

Jak radzić sobie z nadmierną dyspersją w regresji Poissona: quasi-prawdopodobieństwo, ujemny dwumianowy GLM lub efekt losowy na poziomie podmiotu?

Natknąłem się na trzy propozycje rozwiązania problemu nadmiernej dyspersji w zmiennej odpowiedzi Poissona i modelu początkowym o ustalonych efektach: Użyj modelu quasi; Użyj ujemnego dwumianowego GLM; Użyj modelu mieszanego z losowym efektem na poziomie przedmiotu. Ale co właściwie wybrać i dlaczego? Czy jest wśród nich jakieś rzeczywiste kryterium?

12 regression negative-binomial poisson-regression overdispersion quasi-likelihood

4

wykryć liczbę pików w nagraniu audio

Próbuję wymyślić, jak wykryć liczbę sylab w korpusie nagrań audio. Myślę, że dobrym proxy może być szczyty w pliku wave. Oto, co próbowałem z plikiem mówiącym po angielsku (mój faktyczny przypadek użycia to Kiswahili). Zapis tego przykładowego nagrania brzmi: „To ja próbuję użyć funkcji timera. Patrzę na pauzy, wokalizacje”. W …

12 r signal-processing

1

Udowodnić związek między odległością Mahalanobis a dźwignią?

Widziałem formuły na Wikipedii. które odnoszą się do odległości i dźwigni Mahalanobisa: Odległość Mahalanobisa jest ściśle związana ze statystyką dźwigni, , ale ma inną skalę:hhhre2)= ( N- 1 ) ( h - 1N.) .re2)=(N.-1)(h-1N.).D^2 = (N - 1)(h - \tfrac{1}{N}). W powiązanym artykule Wikipedia opisuje w następujących terminach:hhh W tym …

12 multiple-regression mathematical-statistics diagnostic leverage

2

Kiedy regresja logistyczna jest odpowiednia?

Obecnie uczę się, jak dokonywać klasyfikacji, a konkretnie przyglądam się trzem metodom: obsłudze maszyn wektorowych, sieci neuronowych i regresji logistycznej. Próbuję zrozumieć, dlaczego regresja logistyczna miałaby kiedykolwiek lepszą wydajność niż pozostałe dwa. Z mojego zrozumienia regresji logistycznej, pomysł polega na dopasowaniu funkcji logistycznej do całych danych. Więc jeśli moje dane …

12 regression machine-learning logistic classification regression-strategies

2

Regresja, gdy każdy punkt ma swoją niepewność zarówno w

Wykonałem pomiarów dwóch zmiennych x i y . Obaj znają niepewności σ x i σ y z nimi związane. Chcę znaleźć zależność między X i Y . Jak mogę to zrobić?nnnxxxyyyσxσx\sigma_xσyσy\sigma_yxxxyyy Edycja : każdy z ma inny Ď X , i wiąże się z nim, a tym samym z y …

12 r regression deming-regression

2

Plusy i minusy połączenia logarytmicznego a identyfikacyjnego dla regresji Poissona

Ja przeprowadzenia regresji Poissona z celem końcowym porównywania (i przy różnicy) prognozowane średnie zliczenie pomiędzy dwoma poziomami czynnika w moim , trzymając inny model współzmiennych (które są binarne ) stała. Zastanawiałem się, czy ktokolwiek mógłby udzielić praktycznych porad, kiedy użyć linku dziennika zamiast linku tożsamości. Jakie są zalety tych dwóch …

12 logistic poisson-regression link-function

2

Oczekiwanie na maksimum zmiennych iid Gumbela

Ciągle czytam w czasopismach ekonomicznych o konkretnym wyniku stosowanym w losowych modelach użytkowych. Jedna wersja wyniku to: jeśli Gumbel ( , to:ϵi∼iid,ϵi∼iid,\epsilon_i \sim_{iid}, μ,1),∀iμ,1),∀i\mu, 1), \forall i E[maxi(δi+ϵi)]=μ+γ+ln(∑iexp{δi}),E[maxi(δi+ϵi)]=μ+γ+ln⁡(∑iexp⁡{δi}),E[\max_i(\delta_i + \epsilon_i)] = \mu + \gamma + \ln\left(\sum_i \exp\left\{\delta_i \right\} \right), gdzie γ≈0.52277γ≈0.52277\gamma \approx 0.52277 jest stałą Eulera-Mascheroniego. Sprawdziłem, czy ma to …

12 expected-value gumbel

2

Różne definicje AIC

Z Wikipedii istnieje definicja Kryterium Informacyjnego Akaike (AIC) jako , gdzie jest liczbą parametrów, a jest prawdopodobieństwem modelu.AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L Jednak nasze ekonometria zauważa na szanowanym uniwersytecie, że . Tutaj to oszacowana wariancja błędów w modelu ARMA, a to liczba obserwacji w zestawie danych …

12 econometrics aic arma information-theory

1

Jaki jest najbardziej odpowiedni sposób na przekształcenie proporcji, gdy są one zmienną niezależną?

Myślałem, że rozumiem ten problem, ale teraz nie jestem tego taki pewien i chciałbym skonsultować się z innymi, zanim przejdę dalej. Mam dwie zmienne Xi Y. Yjest stosunkiem i nie jest ograniczony przez 0 i 1 i jest zwykle rozkładem normalnym. Xjest proporcją i jest ograniczony przez 0 i 1 …

12 r regression data-transformation nonlinear-regression proportion

2

Źle uwarunkowana macierz kowariancji w regresji GP dla optymalizacji bayesowskiej

Tło i problem Korzystam z procesów Gaussa (GP) do regresji i późniejszej optymalizacji bayesowskiej (BO). Do regresji używam pakietu gpml dla MATLAB z kilkoma niestandardowymi modyfikacjami, ale problem jest ogólny. Jest dobrze znanym faktem, że gdy dwa dane treningowe znajdują się zbyt blisko w przestrzeni wejściowej, macierz kowariancji może stać …

12 regression covariance-matrix gaussian-process bayesian-optimization