Statystyki i duże zbiory danych

1

Jak uzyskać „wartości własne” (procent wyjaśnionej wariancji) wektorów, które nie są wektorami własnymi PCA?

Chciałbym zrozumieć, w jaki sposób mogę uzyskać procent wariancji zbioru danych, nie w przestrzeni współrzędnych zapewnionej przez PCA, ale w stosunku do nieco innego zestawu (obróconych) wektorów. set.seed(1234) xx <- rnorm(1000) yy <- xx * 0.5 + rnorm(1000, sd = 0.6) vecs <- cbind(xx, yy) plot(vecs, xlim = c(-4, 4), …

10 r variance pca linear-algebra

1

Wykreślanie przewidywanych wartości w szeregach czasowych ARIMA w R.

Prawdopodobnie istnieje więcej niż jedno poważne nieporozumienie w tym pytaniu, ale nie ma ono na celu poprawnego obliczenia, ale raczej zmotywowanie uczenia się szeregów czasowych z pewnym uwzględnieniem. Próbując zrozumieć zastosowanie szeregów czasowych, wydaje się, że usunięcie danych z trendów czyni prognozowanie przyszłych wartości niemożliwym. Na przykład gtempszereg czasowy z …

10 r time-series data-visualization

1

Okresowe splajny w celu dopasowania danych okresowych

W komentarzu do tego pytania użytkownik @whuber wskazał na możliwość używania okresowej wersji splajnów w celu dopasowania danych okresowych. Chciałbym dowiedzieć się więcej o tej metodzie, w szczególności o równaniach definiujących splajny oraz o tym, jak je zaimplementować w praktyce (jestem głównie Rużytkownikiem, ale jeśli zajdzie taka potrzeba, poradzę sobie …

10 regression time-series seasonality splines

2

Prawdopodobieństwo, że pięcioro dzieci w tej samej klasie będzie miało to samo imię

Na forach z imionami dla dzieci potencjalni rodzice cały czas powtarzają swoją wersję „Strachu przed Jennifer”: „Nie chcę, aby moje dziecko było jednym z 5 w jego klasie z jego imieniem”. Rzecz w tym, że żadna nazwa nie jest już tak podobna do popularności, a nawet u szczytu szaleństwa Jennifer …

10 probability combinatorics

2

Oczekiwanie na

Niech , , , i niech będą niezależni. Czego oczekuje się od ?X1X1X_1X2X2X_2⋯⋯\cdotsXd∼N(0,1)Xd∼N(0,1)X_d \sim \mathcal{N}(0, 1)X41(X21+⋯+X2d)2X14(X12+⋯+Xd2)2\frac{X_1^4}{(X_1^2 + \cdots + X_d^2)^2} Łatwo jest znaleźć symetrycznie. Ale nie wiem, jak znaleźć oczekiwanie na . Czy możesz podać jakieś wskazówki?E(X21X21+⋯+X2d)=1dE(X12X12+⋯+Xd2)=1d\mathbb{E}\left(\frac{X_1^2}{X_1^2 + \cdots + X_d^2}\right) = \frac{1}{d}X41(X21+⋯+X2d)2X14(X12+⋯+Xd2)2\frac{X_1^4}{(X_1^2 + \cdots + X_d^2)^2} Co dotychczas uzyskałem …

10 probability self-study normal-distribution chi-squared expected-value

3

Dlaczego oszacowanie CV błędu testu nie docenia rzeczywistego błędu testu?

Rozumiem, że krotność k-krotności oszacowania błędu testu zwykle nie docenia faktycznego błędu testu. Jestem zdezorientowany, dlaczego tak jest. Rozumiem, dlaczego błąd szkolenia jest zwykle niższy niż błąd testu - ponieważ trenujesz model na tych samych danych, na których szacujesz błąd! Ale nie dotyczy to weryfikacji krzyżowej - fałd, na którym …

10 cross-validation bias

5

Dlaczego wynik beta określa tak beta?

To jest wynik F beta: faβ= ( 1 + β2)) ⋅ p r e c i s i o n ⋅ r e c a l l( β2)⋅ p r e c i s i o n ) + r e c a l lFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot …

10 machine-learning precision-recall model-evaluation

2

Matematyczne i statystyczne warunki wstępne do zrozumienia filtrów cząstek?

Obecnie staram się zrozumieć filtry cząstek i ich możliwe zastosowania w finansach i dość mocno się zmagam. Jakie są matematyczne i statystyczne warunki wstępne, które powinienem ponownie przejrzeć (pochodzące z podstaw finansów ilościowych), aby (i) udostępnić podstawy filtrów cząstek i (ii) później je dokładnie zrozumieć? Mam solidną wiedzę na temat …

10 time-series particle-filter

1

Oczekiwana wartość maksymalnego stosunku n iid zmiennych normalnych

Załóżmy, X1,...,XnX1,...,XnX_1,...,X_n są IID z N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2) i niech X(i)X(i)X_{(i)} oznaczają odpowiednio iii „th najmniejszy element z X1,...,XnX1,...,XnX_1,...,X_n . Jak można przekroczyć górną granicę oczekiwanego maksimum stosunku między dwoma kolejnymi elementami w X(i)X(i)X_{(i)} ? To znaczy, jak obliczyć górną granicę dla: E[maxi=1,...,n−1(X(i+1)X(i))]E[maxi=1,...,n−1(X(i+1)X(i))]E\left[\max\limits_{i=1,...,n-1}\left(\frac{X_{(i+1)}}{X_{(i)}}\right)\right] Literatura, którą udało mi się znaleźć, skupia się głównie …

10 expected-value order-statistics ratio maximum

3

Czy można trenować sieć neuronową, aby rysować obraz w określonym stylu?

Czy można trenować sieć neuronową, aby rysować obraz w określonym stylu? (Więc pobiera obraz i przerysowuje w stylu, dla którego został wytrenowany). Czy istnieje zatwierdzona technologia dla tego rodzaju rzeczy? Wiem o algorytmie DeepArt. Dobrze jest wypełnić główny obraz pewnym wzorem (na przykład obraz vangoghify), ale szukam czegoś innego - …

10 machine-learning neural-networks deep-learning

1

Pokaż oszacowanie jest zbieżne do percentyla dzięki statystykom zamówień

Niech X1,X2,…,X3nX1,X2,…,X3nX_1, X_2, \ldots, X_{3n} będzie sekwencją losowych zmiennych losowych próbkowanych ze stabilnego rozkładu alfa , o parametrach α=1.5,β=0,c=1.0,μ=1.0α=1.5,β=0,c=1.0,μ=1.0\alpha = 1.5, \; \beta = 0, \; c = 1.0, \; \mu = 1.0 . Rozważmy teraz sekwencję Y1,Y2,…,YnY1,Y2,…,YnY_1, Y_2, \ldots, Y_{n} , gdzie Yj+1=X3j+1X3j+2X3j+3−1Yj+1=X3j+1X3j+2X3j+3−1Y_{j+1} = X_{3j+1}X_{3j+2}X_{3j+3} - 1 , dla …

10 probability self-study monte-carlo convergence order-statistics

2

Używanie LASSO tylko do wyboru funkcji

Podczas mojej lekcji uczenia maszynowego dowiedzieliśmy się, jak regresja LASSO jest bardzo dobra w wykonywaniu wyboru funkcji, ponieważ wykorzystuje regulację .l1l1l_1 Moje pytanie: czy ludzie zwykle używają modelu LASSO tylko do dokonywania wyboru funkcji (a następnie kontynuują zrzucanie tych funkcji do innego modelu uczenia maszynowego), czy zwykle używają LASSO do …

10 feature-selection lasso regression-strategies

1

Dlaczego wartości p zmieniają się w znaczeniu przy zmianie kolejności zmiennych towarzyszących w modelu aov?

Mam zestaw danych z 482 obserwacji. data=Populationfull Zamierzam przeprowadzić analizę asocjacji genotypu dla 3 SNP. Próbuję zbudować model do mojej analizy i używam aov (y ~ x, data = ...). Dla jednej cechy mam kilka ustalonych efektów i zmiennych towarzyszących, które zawarłem w modelu, na przykład: Starts <- aov(Starts~Sex+DMRT3+Birthyear+Country+Earnings+Voltsec+Autosec, data=Populationfull) …

10 r anova

6

Jak możemy poznać wariancję populacji?

W testach hipotez powszechne pytanie brzmi: jaka jest wariancja populacji? Moje pytanie brzmi: skąd możemy poznać wariancję populacji? Gdybyśmy znali cały rozkład, równie dobrze moglibyśmy poznać średnią całej populacji. Jaki jest zatem sens testowania hipotez?

10 hypothesis-testing variance t-test z-test

3

Czy istnieje wzór na obliczanie mediany?

Czy istnieje odpowiednik średniej formuły: m e a n =1N.∑i = 1N.Xjamean=1N∑i=1NXi\begin{equation} \mathrm{mean} = \cfrac{1}{N} \sum_{i=1}^{N} X_i \end{equation} dla mediany?

10 median definition