Statystyki i duże zbiory danych

2

Kowariancja transformowanych zmiennych losowych

Mam dwie zmienne losowe i .X>0X>0X > 0Y>0Y>0Y > 0 Biorąc pod uwagę, że mogę oszacować jak mogę oszacowaćCov(X,Y),Cov(X,Y),\text{Cov}(X, Y),Cov(log(X),log(Y))?Cov(log⁡(X),log⁡(Y))?\text{Cov}(\log(X), \log(Y))?

12 data-transformation covariance random-variable

2

Problem z porównywaniem modeli GLM posiadających inną funkcję łącza

Biorąc pod uwagę ten sam zestaw zmiennych towarzyszących i rodziny dystrybucji, jak mogę porównać modele posiadające różne funkcje łącza? Myślę, że poprawną odpowiedzią jest „AIC / BIC”, ale nie jestem w 100% pewien. Czy można mieć modele zagnieżdżone, jeśli mają inne łącze?

12 generalized-linear-model aic link-function

3

Strategia dopasowania wysoce nieliniowej funkcji

Do analizy danych z eksperymentu biofizyki próbuję obecnie dopasować krzywą za pomocą wysoce nieliniowego modelu. Funkcja modelu wygląda następująco: y= a x + b x- 1 / 2y=ax+bx−1/2y = ax + bx^{-1/2} Tutaj szczególnie duże znaczenie ma wartość .bbb Wykres dla tej funkcji: (Zauważ, że funkcja modelu opiera się na …

12 curve-fitting nonlinear

1

Jeśli mecz tenisa byłby pojedynczym dużym setem, ile gier dałoby taką samą dokładność?

Tenis ma osobny trzypoziomowy system punktacji i zastanawiam się, czy ma to jakąkolwiek statystyczną korzyść z punktu widzenia meczu jako eksperymentu mającego na celu ustalenie lepszego gracza. Dla tych, którzy nie są zaznajomieni, w normalnych zasadach gra jest wygrywana od pierwszych do 4 punktów, o ile masz 2-punktową przewagę (tzn. …

12 probability inference games

2

Czy mogę zniechęcać i różnicować, aby serial stał się nieruchomy?

Mam zestaw danych, który wyraźnie rośnie w miarę upływu czasu (kurs waluty, dane miesięczne przez 20 lat), moje pytanie brzmi: czy mogę odreagować dane, a następnie różnicować je, aby stały się nieruchome, jeśli samo to zniechęcenie nie osiąga tego? A jeśli tak, to czy byłoby to uważane za podwójnie zróżnicowane, …

12 time-series stationarity

3

Czy korelacja lub współczynnik determinacji odnoszą się do odsetka wartości, które mieszczą się wzdłuż linii regresji?

Korelacja jest miarą liniowego powiązania między dwiema zmiennymi. Współczynnik determinacji, , jest miarą tego, jak dużą zmienność jednej zmiennej można „wyjaśnić” zmiennością drugiej.r 2rrrr2)r2r^2 Na przykład, jeśli jest korelacją między dwiema zmiennymi, to . Stąd 64% zmienności w jednym z nich można wytłumaczyć różnicami w drugim. Dobrze?r 2 = 0,64r …

12 regression correlation r-squared

2

Jakie są kompletne wystarczające statystyki?

Mam problem ze zrozumieniem pełnej wystarczającej statystyki? Niech będzie wystarczającą statystyką.T=ΣxiT=ΣxiT=\Sigma x_i Jeśli z prawdopodobieństwem 1, dla niektórych funkcji g , jest to kompletna wystarczająca statystyka.E[g(T)]=0E[g(T)]=0E[g(T)]=0ggg Ale co to znaczy? Widziałem przykłady uniformów i Bernoulli (strona 6 http://amath.colorado.edu/courses/4520/2011fall/HandOuts/umvue.pdf ), ale nie jest to intuicyjne, bardziej się zdezorientowałem widząc integrację. Czy …

12 self-study estimation intuition decision-theory

2

Dlaczego zwiększenie liczby funkcji zmniejsza wydajność?

Próbuję uzyskać intuicję, dlaczego zwiększenie liczby funkcji może obniżyć wydajność. Obecnie używam klasyfikatora LDA, który sprawdza się lepiej w przypadku niektórych funkcji, ale gorzej, gdy patrzy się na więcej funkcji. Moja dokładność klasyfikacji jest przeprowadzana przy użyciu stratyfikowanego 10-krotnego xval. Czy istnieje prosty przypadek, w którym klasyfikator działałby lepiej w …

12 classification feature-selection

1

Jak wykonać regresję zmiennych instrumentalnych z instrumentalnym terminem interakcji w Stata?

Mam trochę problemu ze składnią Stata. Muszę wykonać następującą regresję: y= a x + b z+ c ( x z) + ey=ax+bz+c(xz)+ey = ax + bz + c(xz) + e gdzie zarówno i mają oprzyrządowanie, a także określenie interakcji wykorzystuje oprzyrządowanej wartości i .z x z x zxxxzzzx zxzxzxxxzzz Wystarczy …

12 stata interaction instrumental-variables

1

Jak obliczyć „Ścieżki do białego domu” za pomocą R?

Właśnie natrafiłem na tę świetną analizę, która jest zarówno interesująca, jak i piękna wizualnie: http://www.nytimes.com/interactive/2012/11/02/us/politics/paths-to-the-white-house.html Ciekawe, jak można zbudować takie „drzewo ścieżki” za pomocą R. Jakie dane i algorytm potrzebne są do zbudowania takiego drzewa ścieżki? Dzięki.

12 r data-visualization politics

1

Odznaczanie danych zliczania

Użyłem stl () w R, aby rozłożyć dane zliczania na składniki trendu, sezonowości i nieregularności. Wynikowe wartości trendu nie są już liczbami całkowitymi. Mam następujące pytania: Czy funkcja stl () jest odpowiednim sposobem na zdezasonalizowanie danych zliczania? Ponieważ wynikowy trend nie jest już wyceniany przez interger, czy mogę użyć lm …

12 r time-series poisson-distribution

1

AIC dla modeli nie zagnieżdżonych: stała normalizująca

AIC jest zdefiniowane jako , gdzie jest estymatorem największego prawdopodobieństwa, a jest wymiarem przestrzeni parametrów. Do oszacowania zwykle pomija się stały współczynnik gęstości. Jest to czynnik, który nie zależy od parametrów, w celu uproszczenia prawdopodobieństwa. Z drugiej strony czynnik ten jest bardzo ważny przy obliczaniu AIC, biorąc pod uwagę, że …

12 model-selection aic nested-models

1

Czy mogę interpretować włączenie kwadratowego terminu do regresji logistycznej jako wskazujący punkt zwrotny?

Czy w regresji logistycznej zawierającej tylko warunki liniowe i kwadratowe, jeśli mam współczynnik liniowy i współczynnik kwadratowy , czy mogę powiedzieć, że istnieje punkt zwrotny prawdopodobieństwa na ?β 2 - β 1 / ( 2 β 2 )β1β1\beta_1β2β2\beta_2−β1/(2β2)−β1/(2β2)-\beta_1 / (2\beta_2)

12 interpretation logit polynomial

6

Jakie algorytmy uczenia maszynowego są dobre do oszacowania, które funkcje są ważniejsze?

Mam dane z minimalną liczbą funkcji, które się nie zmieniają, oraz kilkoma dodatkowymi funkcjami, które można zmienić i mają duży wpływ na wynik. Mój zestaw danych wygląda następująco: Funkcje to A, B, C (zawsze obecne) oraz D, E, F, G, H (czasami obecne) A = 10, B = 10, C …

12 machine-learning feature-selection

2

Losowy las: co, jeśli wiem, że zmienna jest ważna

Rozumiem, że losowy las wybiera losowo zmienne mtry do zbudowania każdego drzewa decyzyjnego. Jeśli więc mtry = ncol / 3, wówczas każda zmienna zostanie użyta średnio w 1/3 drzew. I 2/3 drzew ich nie wykorzysta. Ale co, jeśli wiem, że jedna zmienna jest prawdopodobnie bardzo ważna, czy dobrze byłoby ręcznie …

12 r random-forest parameterization