Statystyki i duże zbiory danych

Byłem ostatnio na kilku rozmowach statystycznych na temat Lasso (regularyzacja), a kwestią, która wciąż się pojawia, jest to, że tak naprawdę nie rozumiemy, dlaczego Lasso działa lub dlaczego działa tak dobrze. Zastanawiam się, do czego odnosi się to oświadczenie. Oczywiście rozumiem, dlaczego Lasso działa technicznie, zapobiegając nadmiernemu dopasowaniu poprzez kurczenie …

10 machine-learning  lasso  regularization 

Jak powinienem efektywnie próbkować z następującej dystrybucji? x∼B(α,β), x>kx∼B(α,β), x>k x \sim B(\alpha, \beta),\space x > k Jeśli kkk nie jest zbyt duże, próbowanie odrzucenia może być najlepszym podejściem, ale nie jestem pewien, jak postępować, gdy kkk jest duże. Być może istnieje jakieś asymptotyczne przybliżenie, które można zastosować?

10 random-generation  beta-distribution  truncation 

Czy jakakolwiek funkcja ciągła na [a, b], gdzie aib są liczbami rzeczywistymi, może być aproksymowana lub arbitralnie bliska funkcji (w niektórych normach) za pomocą procesów Gaussa (regresja)?

10 gaussian-process  approximation 

Próbuję wykorzystać regresję RF do prognozowania wydajności papierni. Mam dane minut po minucie dla danych wejściowych (szybkość i ilość miazgi drzewnej wchodzącej itp.), A także dla wydajności maszyny (wyprodukowany papier, moc pobierana przez maszynę) i szukam prognoz 10 minut wyprzedzić zmienne wydajności. Mam 12 miesięcy danych, więc podzieliłem je na …

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

Postępuję zgodnie z samouczkiem mens Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Samouczek używa tf.train.Optimizer.minimize(konkretnie tf.train.GradientDescentOptimizer). Nigdzie nie widzę żadnych argumentów do zdefiniowania gradientów. Czy przepływ Tensor jest domyślnie domyślnie różnicowany numerycznie? Czy istnieje sposób, aby przejść w gradienty, jak można z scipy.optimize.minimize?

10 python  optimization  tensorflow 

Czy omawiając wskaźniki realizacji zadań, można pokazać, że 0 na 20 prób jest „gorszych” niż 0 na 10 prób?

10 probability  sampling 

W kursie uczenia maszynowego Andrew Nga używa tej formuły: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T i robi szybki dowód, który pokazano poniżej: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = …

10 machine-learning  matrix  derivative 

Programuję i wykonuję programowanie testowe. Po wprowadzeniu zmian w kodzie uruchamiam testy. Czasem im się udaje, a czasem im się nie udaje. Przed uruchomieniem testu zapisuję liczbę od 0,01 do 0,99 dla mojej wiarygodności, że test się powiedzie. Chcę wiedzieć, czy poprawiam przewidywanie, czy mój test się powiedzie, czy nie. …

10 forecasting  decision-theory  calibration  scoring-rules 

Widziałem ten zapis dla zwykłych najmniejszych kwadratów tutaj . minw∥Xw−y∥22minw‖Xw−y‖22) \min_w \left\| Xw - y \right\|^2_2 Nigdy nie widziałem podwójnych pasków i 2 na dole. Co oznaczają te symbole? Czy mają dla nich określoną terminologię?

10 regression  least-squares  linear-model  linear-algebra  notation 

Pracuję w sieci splotowej do rozpoznawania obrazów i zastanawiałem się, czy mogę wprowadzić obrazy o różnych rozmiarach (choć nie tak bardzo różnych). W sprawie tego projektu: https://github.com/harvardnlp/im2markup Mówią: and group images of similar sizes to facilitate batching Więc nawet po wstępnym przetwarzaniu obrazy są nadal różnych rozmiarów, co ma sens, …

10 neural-networks  conv-neural-network  computer-vision 

Powiedzmy, że mamy uporządkowaną listę przedmiotów [a, b, c, ... x, y, z, ...] Szukam rodziny dystrybucji z obsługą na powyższej liście, regulowanej przez niektóre parametry alfa, dzięki czemu: Dla alfa = 0 przypisuje prawdopodobieństwo 1 do pierwszego elementu, a powyżej, i 0 do reszty. Oznacza to, że jeśli próbkujemy …

10 distributions  sampling  discrete-data 

Po krótkiej dyskusji (poniżej) mam teraz jaśniejszy obraz skoncentrowanego pytania, więc oto poprawione pytanie, chociaż niektóre komentarze mogą wydawać się niezwiązane z pierwotnym pytaniem. Wydaje się, że testy t zbiegają się szybko dla rozkładów symetrycznych , że test rangi ze znakiem zakłada symetrię i że dla rozkładu symetrycznego nie ma …

10 hypothesis-testing  t-test  paired-data  wilcoxon-signed-rank  sign-test 

Czy to tylko agregacja punktów danych? A może reprezentacja punktów danych dla różnych elementów w formacie tabelarycznym ułożonym z wartościami różnych zmiennych? Czym różni się od surowych danych?

10 dataset  terminology  definition 

[Podobne pytanie zostało zadane tutaj bez odpowiedzi] Dopasowałem model regresji logistycznej z regularyzacją L1 (regresja logistyczna Lasso) i chciałbym przetestować dopasowane współczynniki pod kątem istotności i uzyskać ich wartości p. Wiem, że testy Walda (na przykład) są opcją testowania znaczenia poszczególnych współczynników w pełnej regresji bez regularyzacji, ale w przypadku …

10 logistic  statistical-significance  regression-coefficients  lasso 

Ja zainteresowany interakcji leczeniem współzmienną w kontekście doświadczeń / randomizacją z binarnego przypisywania traktowania wskaźnik TTT . W zależności od konkretnej metody / źródła widziałem zarówno T={1,0}T={1,0}T=\{1,0\} i dla leczonych i nieleczonych pacjentów.T={1,−1}T={1,−1}T=\{1, -1\} Czy jest jakaś reguła, kiedy używać lub ?{1,0}{1,0}\{1,0\}{1,−1}{1,−1}\{1, -1\} Czym różni się interpretacja?

10 binary-data  categorical-encoding