Statystyki i duże zbiory danych

2

Czy wielokoliniowość jest ukryta w zmiennych jakościowych?

Zauważyłem, że podczas majstrowania przy modelu regresji wielowymiarowej zaobserwowano niewielki, ale zauważalny efekt wielokoliniowości, mierzony współczynnikami inflacji wariancji, w kategoriach zmiennej jakościowej (oczywiście po wykluczeniu kategorii odniesienia). Załóżmy na przykład, że mamy zestaw danych ze zmienną ciągłą y i jedną nominalną zmienną kategorialną x, która ma k możliwych wzajemnie wykluczających …

10 regression categorical-data multicollinearity

3

Wybór funkcji za pomocą wzajemnej informacji w Matlabie

Próbuję zastosować ideę wzajemnej informacji do wyboru funkcji, jak opisano w tych uwagach do wykładu (na stronie 5). Moja platforma to Matlab. Jednym z problemów, które spotykam przy obliczaniu wzajemnej informacji z danych empirycznych, jest to, że liczba jest zawsze tendencyjna w górę. Znalazłem około 3 ~ 4 różnych plików …

10 matlab feature-selection information-theory mutual-information

1

Korekta dla normalnie rozłożonej precyzji zegara

Mam eksperyment przeprowadzany na setkach komputerów rozmieszczonych na całym świecie, który mierzy występowanie niektórych zdarzeń. Zdarzenia zależą od siebie, więc mogę uporządkować je w kolejności rosnącej, a następnie obliczyć różnicę czasu. Zdarzenia powinny być rozkładane wykładniczo, ale podczas rysowania histogramu otrzymuję to: Niedokładność zegarów na komputerach powoduje, że niektórym zdarzeniom …

10 error measurement-error exponential

2

Proste przybliżenie skumulowanego rozkładu Poissona w długim ogonie?

Chcę zdecydować o pojemności CCC tabeli, aby miała ona szanse resztkowe mniejsze niż na przelanie dla danego , zakładając, że liczba wpisów jest zgodna z prawem Poissona z danym oczekiwana . p ∈ [ 40 … 120 ] E ∈ [ 10 3 … 10 12 ]2−p2−p2^{-p}p∈[40…120]p∈[40…120]p\in[40\dots 120]E∈[103…1012]E∈[103…1012]E\in[10^3\dots 10^{12}] Idealnie …

10 poisson-distribution

1

błąd randomForest i zmienna ważność?

Nie dostaję różnicy między rfobject$importancei importance(rfobject)w kolumnie MeanDecreaseAccuracy. Przykład: > data("iris") > fit <- randomForest(Species~., data=iris, importance=TRUE) > fit$importance setosa versicolor virginica MeanDecreaseAccuracy MeanDecreaseGini Sepal.Length 0.027078501 0.019418330 0.040497602 0.02898837 9.173648 Sepal.Width 0.008553449 0.001962036 0.006951771 0.00575489 2.472105 Petal.Length 0.313303381 0.291818815 0.280981959 0.29216790 41.284869 Petal.Width 0.349686983 0.318527008 0.270975757 0.31054451 46.323415 > importance(fit) …

10 r random-forest importance

1

Czy model P (Y | X) można wytrenować za pomocą stochastycznego spadku gradientu z nie-iidowych próbek P (X) i iidowych próbek P (Y | X)?

Podczas uczenia sparametryzowanego modelu (np. W celu zmaksymalizowania prawdopodobieństwa) za pomocą stochastycznego spadku gradientowego na niektórych zbiorach danych, powszechnie przyjmuje się, że próbki szkoleniowe są pobierane z rozkładu danych szkoleniowych. Jeśli więc celem jest modelowanie wspólnego rozkładu , to każda próbka treningowa powinna zostać pobrana z tego rozkładu.( x i …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

2

Jakie jest normalne przybliżenie rozkładu wielomianowego?

Jeśli istnieje wiele możliwych przybliżeń, szukam najbardziej podstawowego.

10 normal-distribution multinomial approximation

2

Wykładniczy współczynnik regresji logistycznej inny niż iloraz szans

Jak rozumiem, wykładnicza wartość beta z regresji logistycznej jest ilorazem szans tej zmiennej dla zmiennej zależnej zainteresowania. Jednak wartość nie odpowiada ręcznie obliczonemu współczynnikowi szans. Mój model przewiduje stunting (miarę niedożywienia) przy użyciu, między innymi, ubezpieczenia. // Odds ratio from LR, being done in stata logit stunting insurance age ... …

10 regression logistic interpretation odds-ratio

2

Asymptotyczny rozkład statystyki maksymalnego rzędu losowych normalnych IID

max ( X1, X2), . . . , Xn)max(X1,X2),...,Xn)\max( X_1,X_2,...,X_n) nnn∞∞\inftyσ2)σ2)\sigma^2 Jest to prawie na pewno dobrze znany problem ze sprytnym dowodem i dobrym rozwiązaniem, ale kopałem i nie znalazłem niczego.

10 distributions probability extreme-value

1

„Twierdzenie o granicy środkowej” dla sumy ważonej skorelowanych zmiennych losowych

Czytam gazetę, która to twierdzi X^k= 1N.--√∑j = 0N.- 1Xjotmi- i 2 πk j / N,X^k=1N.∑jot=0N.-1Xjotmi-ja2)πkjot/N.,\hat{X}_k=\frac{1}{\sqrt{N}}\sum_{j=0}^{N-1}X_je^{-i2\pi kj/N}, (tj. dyskretna transformata Fouriera , DFT) przez CLT ma tendencję do (złożonej) losowej zmiennej gaussowskiej. Wiem jednak, że ogólnie nie jest to prawdą. Po przeczytaniu tego (błędnego) argumentu przeszukałem sieć i znalazłem ten …

10 time-series central-limit-theorem fourier-transform

4

Indywidualna regularyzacja dla matryc stochastycznych

Dobrze wiadomo (np. W dziedzinie wykrywania kompresji), że norma „indukuje ” w tym sensie, że jeśli zminimalizujemy funkcjonalność (dla stałej macierzy i wektora ) dla wystarczająco dużych \ lambda> 0 , prawdopodobnie istnieje wiele opcji A , \ vec {b} , a \ lambda ma wiele dokładnie zerowych pozycji w …

10 regression matrix normalization regularization sparse

2

Gigantyczna kurtoza?

Robię opisowe statystyki dziennych zwrotów z indeksów giełdowych. To jeśli i są poziomami indeksu odpowiednio w dniu 1 i dniu 2, to jest zwrotem, którego używam (całkowicie standardowe w literaturze).P 2 l o g e ( P 2P.1P1P_1P.2)P2P_2l o gmi( P2)P.1)loge(P2P1)log_e (\frac{P_2}{P_1}) Więc kurtoza jest ogromna w niektórych z nich. …

10 distributions finance skewness kurtosis

1

Pytania dotyczące określenia liniowych modeli mieszanych w R dla danych z powtarzanymi pomiarami z dodatkową strukturą zagnieżdżenia

Struktura danych > str(data) 'data.frame': 6138 obs. of 10 variables: $ RT : int 484 391 422 516 563 531 406 500 516 578 ... $ ASCORE : num 5.1 4 3.8 2.6 2.7 6.5 4.9 2.9 2.6 7.2 ... $ HSCORE : num 6 2.1 7.9 1 6.9 8.9 …

10 r mixed-model repeated-measures model-selection lme4-nlme

2

Podręcznik czerpiąc z Metropolis-Hastings i Gibbs Sampling

Mam dość dobre doświadczenie praktyczne z próbkowaniem Metropolis-Hastings i Gibbs, ale chcę lepiej zrozumieć matematykę tych algorytmów. Jakie są dobre podręczniki lub artykuły, które dowodzą poprawności tych samplerów (więcej algorytmów też byłoby świetnych)?

10 bayesian references mcmc

1

O korelacji kopenetycznej dla grupowania dendrogramu

Rozważ kontekst klastrowania dendrogramu. Nazwijmy pierwotne odmienności odległościami między jednostkami. Po skonstruowaniu dendrogramu definiujemy khenetyczną odmienność między dwoma osobami jako odległość między skupieniami, do których te osoby należą. Niektóre osoby uważają, że korelacja między pierwotnymi odmiennościami a kopenetycznymi odmiennościami (zwana korelacją kopenetyczną ) jest „wskaźnikiem przydatności” klasyfikacji. Brzmi dla mnie …

10 clustering classification