Statystyki i duże zbiory danych

4

Jak podejść do tego problemu z prognozowaniem binarnym?

Mam zestaw danych o następującym formacie. Istnieje wynik binarny rak / brak raka. Każdy lekarz w zbiorze danych widział każdego pacjenta i oceniał go niezależnie od tego, czy pacjent ma raka. Następnie lekarze podają poziom ufności na 5, że diagnoza jest prawidłowa, a poziom ufności jest wyświetlany w nawiasach. Próbowałem …

9 forecasting binary-data psychometrics

2

Zastosowanie stochastycznego wnioskowania wariacyjnego do Bayesian Mixture of Gaussian

Próbuję zaimplementować model mieszanki Gaussa z stochastycznym wnioskiem wariacyjnym, zgodnie z tym artykułem . To jest pgm mieszanki Gaussa. Według artykułu, pełny algorytm stochastycznego wnioskowania wariacyjnego to: I nadal jestem bardzo zdezorientowany co do metody skalowania go do GMM. Po pierwsze, myślałem, że lokalny parametr wariacyjny jest po prostu qzqzq_za …

9 machine-learning bayesian clustering gaussian-mixture variational-bayes

3

Jak zastosować Softmax jako funkcję aktywacji w wielowarstwowym Perceptronie w scikit-learn? [Zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 11 miesięcy temu . Muszę zastosować funkcję aktywacji Softmax na wielowarstwowym Perceptronie w scikit. Scikit documantation na temat modeli sieci neuronowych (nadzorowane) mówi „MLPClassifier obsługuje …

9 neural-networks scikit-learn multi-class softmax

1

Przykład, w jaki sposób statystyki bayesowskie mogą oszacować parametry, które są bardzo trudne do oszacowania za pomocą metod częstych

Bayesowscy statystycy twierdzą, że „statystyki bayesowskie mogą oszacować parametry, które są bardzo trudne do oszacowania za pomocą metod częstych”. Czy następujący cytat zaczerpnięty z tej dokumentacji SAS mówi to samo? Zapewnia wnioski, które są uzależnione od danych i są dokładne, bez polegania na asymptotycznym przybliżeniu. Wnioskowanie o małej próbce przebiega …

9 bayesian inference sas frequentist

2

Obrazy niekwadratowe do klasyfikacji obrazów

Mam zestaw danych z szerokimi obrazami: 1760 x 128. Przeczytałem już tutoriale i książki, a większość z nich stwierdza, że obrazy wejściowe powinny być kwadratowe, a jeśli nie, są one przekształcane w kwadrat, aby być szkolonym w już wyszkolonych (na obrazach kwadratowych) cnns. Czy istnieje sposób wytrenowania cnn dla obrazów …

9 conv-neural-network

3

Jakie są konsekwencje niestałej wariancji warunków błędu w regresji liniowej?

Jednym z założeń regresji liniowej jest to, że powinna istnieć stała wariancja w kategoriach błędów oraz że przedziały ufności i testy hipotez związane z modelem opierają się na tym założeniu. Co dokładnie dzieje się, gdy terminy błędów nie mają stałej wariancji?

9 regression heteroscedasticity assumptions robust-standard-error

2

Założenia dotyczące najmniejszych kwadratów

Załóżmy następującą zależność liniową: , gdzie jest zmienną zależną, pojedynczą zmienną niezależną, a termin błędu.Yi=β0+β1Xi+uiYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_iYiYiY_iXiXiX_iuiuiu_i Według Stock & Watson (Wprowadzenie do ekonometrii; Rozdział 4 ), trzecim najmniejszym kwadratem jest założenie, że czwarte momenty i są niezerowe i skończone .XiXiX_iuiuiu_i(0<E(X4i)<∞ and 0<E(u4i)<∞)(0<E(Xi4)<∞ and 0<E(ui4)<∞)(0<E(X_i^4)<\infty …

9 regression least-squares assumptions bias consistency

2

Czy rzeczywiście dobrze jest dokonywać wyboru funkcji bez nadzoru przed weryfikacją krzyżową?

W The Elements of Statistics Learning znalazłem następujące stwierdzenie: Istnieje jedna kwalifikacja: wstępne pomiary bez nadzoru można wykonać przed pominięciem próbek. Na przykład, moglibyśmy wybrać 1000 predyktorów o największej wariancji we wszystkich 50 próbkach przed rozpoczęciem walidacji krzyżowej. Ponieważ to filtrowanie nie obejmuje etykiet klas, nie zapewnia nieuczciwej przewagi predyktorom. …

9 machine-learning cross-validation feature-selection

1

Dlaczego moje modele VAR działają lepiej z danymi niestacjonarnymi niż z danymi stacjonarnymi?

Używam biblioteki VAR Pytsmodels do modelowania danych finansowych szeregów czasowych, a niektóre wyniki mnie zastanawiają. Wiem, że modele VAR zakładają, że dane szeregów czasowych są nieruchome. Nieumyślnie dopasowałem niestacjonarną serię cen logów dla dwóch różnych papierów wartościowych i, co zaskakujące, dopasowane wartości i prognozy w próbie były bardzo dokładne z …

9 time-series forecasting r-squared var stationarity

2

Czy zawsze powinniśmy robić CV?

Moje pytanie: czy powinienem zrobić CV nawet dla stosunkowo dużego zbioru danych? Mam stosunkowo duży zestaw danych i zastosuję algorytm uczenia maszynowego do tego zestawu danych. Ponieważ mój komputer nie jest szybki, CV (i wyszukiwanie siatki) zajmuje czasem zbyt dużo czasu. W szczególności SVM nigdy się nie kończy z powodu …

9 machine-learning cross-validation

1

Różnica między rodzajami SVM

Jestem nowy w obsłudze maszyn wektorowych. Krótkie wyjaśnienie svmFunkcji z e1071pakietu w R oferuje różne opcje: Klasyfikacja C. klasyfikacja nu jedna klasyfikacja (do wykrywania nowości) regresja eps regresja nu Jakie są intuicyjne różnice między pięcioma typami? Który należy zastosować w jakiej sytuacji?

9 r classification svm e1071

2

Czy dodatni termin interakcji sugeruje korelację między jego zmiennymi składowymi?

Załóżmy, że korzystam z regresji liniowej, która ma postać .y=β0+β1A +β2)B +β3)A B + ϵy=β0+β1A+β2B+β3AB+ϵy = \beta_0 + \beta_1A+\beta_2B+\beta_3AB +\epsilon Jeśli jest dodatnia, czy oznacza to dodatnią korelację między i ? (Odwrotnie, korelacja ujemna, jeśli jest ujemna?)β3)β3\beta_3ZAAAbBBβ3)β3\beta_3

9 regression interaction

1

Jeśli mam oczekiwaną wartość logarytmu RV, czy mogę uzyskać oczekiwaną wartość samego RV?

Zakładać, że E [ log( X) ]E[log⁡(X)]\text{E}[\log(X)] jest dane, czy mogę czerpać E [ X]E[X]\text{E}[X] w formacie zamkniętym?

9 expected-value logarithm

2

Zrozumienie tego wykresu sprzedaży lodów PCA w zależności od temperatury

Przyjmuję dane pozorne temperatury w stosunku do sprzedaży lodów i skategoryzowałem je za pomocą K oznacza (n klastrów = 2), aby rozróżnić 2 kategorie (całkowicie pozorne). Teraz przeprowadzam analizę głównych składników tych danych, a moim celem jest zrozumienie tego, co widzę. Wiem, że celem PCA jest zmniejszenie wymiarów (oczywiście nie …

9 pca interpretation k-means dimensionality-reduction

1

Czy dwa kwantyle rozkładu beta określają jego parametry?

Jeśli podam dwa kwantyle i odpowiadające im lokalizacje (każdy) w przedziale otwartym , czy zawsze mogę znaleźć parametry rozkładu beta, który ma te kwantyle w określonych lokalizacjach?(q1,q2))(q1,q2)(q_1,q_2)(l1,l2))(l1,l2)(l_1,l_2)( 0 , 1 )(0,1)(0,1)

9 quantiles curve-fitting beta-distribution