Statystyki i duże zbiory danych

3

Jak rozumieć dane wyjściowe z funkcji polr R (uporządkowana regresja logistyczna)?

Jestem nowy w R, uporządkowałem regresję logistyczną i polr. Sekcja „Przykłady” u dołu strony pomocy dla polr (która pasuje do modelu regresji logistycznej lub probitowej do uporządkowanej odpowiedzi czynnikowej) pokazuje options(contrasts = c("contr.treatment", "contr.poly")) house.plr <- polr(Sat ~ Infl + Type + Cont, weights = Freq, data = housing) pr …

26 r logistic

11

Zarezerwuj rekomendacje dotyczące analizy wielowymiarowej

Jestem zainteresowany uzyskaniem książek na temat analizy wielowymiarowej i potrzebuję waszych rekomendacji. Darmowe książki są zawsze mile widziane, ale jeśli znasz jakieś świetne niewolne książki MVA, proszę, podaj je.

26 references multivariate-analysis

7

Jak zdecydować, jakiego zakresu użyć w regresji LOESS w R?

Korzystam z modeli regresji LOESS w R i chcę porównać wyniki 12 różnych modeli o różnych wielkościach próbek. Potrafię opisać rzeczywiste modele bardziej szczegółowo, jeśli pomoże to w udzieleniu odpowiedzi na pytanie. Oto przykładowe rozmiary: Fastballs vs RHH 2008-09: 2002 Fastballs vs LHH 2008-09: 2209 Fastballs vs RHH 2010: 527 …

26 r regression loess

5

Kiedy podejście Fishera do „zdobywaj więcej danych” ma sens?

Cytując świetną odpowiedź Gunga Podobno badacz zwrócił się kiedyś do Fishera z „nieistotnymi” wynikami, pytając go, co powinien zrobić, a Fisher powiedział „idź zdobyć więcej danych”. Z punktu widzenia Neymana-Pearsona jest to rażące hakowanie ppp , ale czy istnieje przypadek użycia, w którym podejście Fishera do pobierania większej ilości danych …

26 hypothesis-testing p-value intuition philosophical

2

Sieć neuronowa: do klasyfikacji binarnej użyj 1 lub 2 neuronów wyjściowych?

Załóżmy, że chcę dokonać klasyfikacji binarnej (coś należy do klasy A lub klasy B). Istnieje kilka możliwości, aby to zrobić w warstwie wyjściowej sieci neuronowej: Użyj 1 węzła wyjściowego. Wyjście 0 (<0,5) jest uważane za klasę A, a 1 (> = 0,5) jest uważane za klasę B (w przypadku sigmoidu) …

26 machine-learning classification neural-networks

1

Strata treningowa spada i rośnie. Co się dzieje?

Moja strata treningowa spada, a potem znowu rośnie. To jest bardzo dziwne. Strata weryfikacji krzyżowej śledzi utratę treningu. Co się dzieje? Mam dwa skumulowane LSTMS w następujący sposób (na Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Trenuję to przez 100 epok: …

26 machine-learning neural-networks loss-functions lstm

2

Pomóż mi zrozumieć funkcję kwantylu (odwrotny CDF)

Czytam o funkcji kwantylu, ale nie jest to dla mnie jasne. Czy możesz podać bardziej intuicyjne wyjaśnienie niż podane poniżej? Ponieważ cdf jest monotonicznie rosnącą funkcją, ma odwrotność; oznaczmy to przez . Jeśli jest cdf , to jest wartością tak że P (X \ le x_ \ alpha) = \ …

26 distributions cdf inverse-cdf quantile-function

5

Wpis w Wikipedii dotyczący prawdopodobieństwa wydaje się niejednoznaczny

Mam proste pytanie dotyczące „prawdopodobieństwa warunkowego” i „prawdopodobieństwa”. (Sprawdziłem już to pytanie tutaj, ale bezskutecznie). Zaczyna się od strony Wikipedii dotyczącej prawdopodobieństwa . Mówią to: Prawdopodobieństwo zestaw wartości parametrów, , biorąc pod uwagę efekty jest równa prawdopodobieństwu tych zaobserwowanych wyników podanych wartości tych parametrów, to jestθθ\thetaxxx L(θ∣x)=P(x∣θ)L(θ∣x)=P(x∣θ)\mathcal{L}(\theta \mid x) = …

26 probability bayesian conditional-probability likelihood definition

3

znajdowanie wartości p w korelacji Pearsona w R

Czy można znaleźć wartość p w korelacji Pearsona w R? Aby znaleźć korelację Pearsona, zwykle to robię col1 = c(1,2,3,4) col2 = c(1,4,3,5) cor(col1,col2) # [1] 0.8315218 Ale jak mogę znaleźć wartość p tego?

26 r correlation p-value pearson-r

3

Czy priory bayesowskie stają się nieistotne przy dużej liczebności próby?

Podczas przeprowadzania wnioskowania bayesowskiego działamy, maksymalizując naszą funkcję prawdopodobieństwa w połączeniu z priorytetami dotyczącymi parametrów. Ponieważ prawdopodobieństwo logarytmiczne jest wygodniejsze, skutecznie maksymalizujemy ∑ln(prior)+∑ln(likelihood)∑ln⁡(prior)+∑ln⁡(likelihood)\sum \ln (\text{prior}) + \sum \ln (\text{likelihood}) za pomocą MCMC lub w inny sposób, który generuje rozkłady późniejsze (używając pdf dla każdego parametru przed prawdopodobieństwem przed i dla …

26 bayesian prior

5

W jaki sposób regresja liniowa wykorzystuje rozkład normalny?

W regresji liniowej zakłada się, że każda przewidywana wartość została wybrana z normalnego rozkładu możliwych wartości. Patrz poniżej. Ale dlaczego zakłada się, że każda przewidywana wartość pochodzi z rozkładu normalnego? Jak regresja liniowa wykorzystuje to założenie? Co, jeśli możliwe wartości nie są normalnie rozdzielane?

26 regression probability distributions normal-distribution modeling

7

Łączenie prawdopodobieństwa / informacji z różnych źródeł

Powiedzmy, że mam trzy niezależne źródła i każde z nich przewiduje prognozy pogody na jutro. Pierwszy mówi, że prawdopodobieństwo jutra deszczu wynosi 0, następnie drugi mówi, że prawdopodobieństwo wynosi 1, a na koniec ostatni mówi, że prawdopodobieństwo wynosi 50%. Chciałbym poznać całkowite prawdopodobieństwo, biorąc pod uwagę tę informację. Jeśli zastosuję …

26 probability bayesian pooling model-averaging forecast-combination

4

Dlaczego ktoś miałby używać KNN do regresji?

Z tego, co rozumiem, możemy zbudować funkcję regresji, która mieści się w przedziale danych treningowych. Na przykład (potrzebny jest tylko jeden panel): Jak przewidzieć przyszłość za pomocą regresora KNN? Ponownie wydaje się, że przybliża tylko funkcję mieszczącą się w przedziale danych treningowych. Moje pytanie: Jakie są zalety korzystania z regresora …

26 regression machine-learning k-nearest-neighbour

7

Proste przykłady nieskorelowanych, ale nie niezależnych i

Każdy pracowity uczeń jest kontrprzykładem dla „wszyscy uczniowie są leniwi”. Jakie są proste kontrprzykłady na „jeśli zmienne losowe i są nieskorelowane, to są one niezależne”?XXXYYY

26 correlation random-variable independence

3

Dlaczego warto używać oszacowań Lasso zamiast oszacowań OLS w podzbiorze zmiennych zidentyfikowanych przez Lasso?

Dla regresji Lasso załóżmy że najlepsze rozwiązanie (na przykład minimalny błąd testowania) wybiera k funkcji, więc \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 …

26 regression feature-selection lasso regularization