Statystyki i duże zbiory danych python

1

Dlaczego w regresji wielokrotnej liniowej wykres przewidywanych punktów nie leży w linii prostej?

Używam wielu regresji liniowej do opisania zależności między Y a X1, X2. Z teorii zrozumiałem, że regresja wielokrotna zakłada zależności liniowe między Y a każdym z X (Y i X1, Y i X2). Nie używam żadnej transformacji X. Mam więc model z R = 0,45 i wszystkimi znaczącymi X (P …

16 regression multiple-regression python linear

3

Zmienne współliniowe w szkoleniu Multlass LDA

Trenuję wieloklasowy klasyfikator LDA z 8 klasami danych. Podczas treningu otrzymuję ostrzeżenie: „ Zmienne są współliniowe ” Dostaję dokładność szkolenia ponad 90% . Korzystam z biblioteki scikits-learn w Pythonie do trenowania i testowania danych Multi-class. Dostaję też przyzwoitą dokładność testowania (około 85% -95% ). Nie rozumiem, co oznacza błąd / …

16 machine-learning classification python scikit-learn discriminant-analysis

1

Jakiej metody wielokrotnego porównania użyć w modelu Lmer: lsmeans czy glht?

Analizuję zestaw danych przy użyciu modelu efektów mieszanych z jednym ustalonym efektem (warunkiem) i dwoma efektami losowymi (uczestnik ze względu na projekt i parę wewnątrz przedmiotu). Model ten został wygenerowany z lme4pakietu: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Następnie wykonałem test współczynnika wiarygodności tego modelu względem modelu bez ustalonego efektu (warunku) i mam znaczącą różnicę. …

16 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

3

Różnica między statsmodel OLS a regresją liniową scikit

Mam pytanie dotyczące dwóch różnych metod z różnych bibliotek, które wydają się wykonywać tę samą pracę. Próbuję stworzyć model regresji liniowej. Oto kod, który używam biblioteki statsmodel z OLS: X_train, X_test, y_train, y_test = cross_validation.train_test_split(x, y, test_size=0.3, random_state=1) x_train = sm.add_constant(X_train) model = sm.OLS(y_train, x_train) results = model.fit() print "GFT …

16 regression python scikit-learn statsmodels

2

Różnica pomiędzy wybór funkcji oparty na „F” i regresji na podstawie

Czy porównywanie cech przy użyciu F-regressiontego samego, co korelowanie elementów z etykietą indywidualnie i obserwowanie wartości ?R2)R2R^2 Często widziałem, jak moi koledzy używają F regressiondo wyboru funkcji w procesie uczenia maszynowego z sklearn: sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)` Proszę, proszę, powiedz mi - dlaczego daje takie same wyniki, jak skorelowanie go ze zmienną etykieta …

16 feature-selection python scikit-learn r-squared f-test

2

Pokaż średnią zamiast mediany w boxplot [zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 5 miesięcy temu . Podczas kreślenia wykresu pudełkowego za pomocą python matplotblib linie w połowie wykresu są medianą rozkładu. Czy istnieje możliwość, aby zamiast tego …

15 data-visualization python matplotlib boxplot

3

Regresja logistyczna: Scikit Learn vs glmnet

Próbuję powielić wyniki z sklearnbiblioteki regresji logistycznej przy użyciu glmnetpakietu w języku R. Z dokumentacjisklearn regresji logistycznej próbuje zminimalizować funkcję kosztu w ramach kary l2 minw , c12)wT.w + C∑i = 1N.log( exp( - yja( XT.jaw + c ) ) + 1 )minw,do12)wT.w+do∑ja=1N.log⁡(exp⁡(-yja(XjaT.w+do))+1)\min_{w,c} \frac12 w^Tw + C\sum_{i=1}^N \log(\exp(-y_i(X_i^Tw+c)) + 1) …

15 r logistic python scikit-learn glmnet

1

Jak interpretować macierz kowariancji z dopasowania krzywej?

Nie jestem zbyt dobry w statystyce, więc przepraszam, jeśli to proste pytanie. Dopasowuję krzywą do niektórych danych, a czasami moje dane najlepiej pasują do ujemnego wykładniczego w postaci * e( - b ∗ x )+ cza∗mi(-b∗x)+doa * e^{(-b * x)} + c , a czasami dopasowanie jest bliższe . Czasami …

15 variance model-selection python curve-fitting covariance-matrix

3

Jak wykreślić dane wyjściowe klastrowania?

Próbowałem grupować zestaw danych (zestaw znaków) i otrzymałem 2 klastry. Chciałbym to przedstawić graficznie. Trochę zdezorientowany co do reprezentacji, ponieważ nie mam współrzędnych (x, y). Poszukuję również do tego celu MATLAB / Python. EDYTOWAĆ Myślę, że publikowanie danych wyjaśnia pytanie. Mam dwa klastry, które utworzyłem za pomocą klastrowania kmeans w …

15 clustering data-visualization python

3

Sprawdź, czy rozkłady wielowymiarowe są takie same

Powiedzmy, że mam dwie lub więcej próbnych populacji n-wymiarowych ciągłych wektorów. Czy istnieje nieparametryczny sposób sprawdzenia, czy próbki te pochodzą z tego samego rozkładu? Jeśli tak, to czy jest do tego funkcja w R lub Pythonie?

15 r distributions nonparametric python

2

Próbkowanie z dystrybucji von Misesa-Fishera w Pythonie?

Szukam prostego sposobu na pobranie próbki z wielowymiarowej dystrybucji von Misesa-Fishera w Pythonie. Mam spojrzał w statystyki modułu w scipy i modułem numpy ale tylko znaleźć jednoczynnikowej dystrybucję von Misesa. Czy jest dostępny kod? Jeszcze nie znalazłem Najwyraźniej Wood (1994) opracował algorytm próbkowania z rozkładu vMF zgodnie z tym linkiem …

14 distributions sampling python

1

Instalacja dystrybucji Beta w Scipy

Według Wikipedii rozkład prawdopodobieństwa beta ma dwa parametry kształtu: i .αα\alphaββ\beta Kiedy wywołuję scipy.stats.beta.fit(x)Python, gdzie xjest wiązka liczb z zakresu , zwracane są 4 wartości. Wydaje mi się to dziwne.[0,1][0,1][0,1] Po google przeszukałem, że jedną z zwracanych wartości musi być „lokalizacja”, ponieważ trzecią zmienną jest 0, jeśli zadzwonię scipy.stats.beta.fit(x, floc=0). …

14 python scipy beta-distribution

1

Analiza wrażliwości w głębokich sieciach neuronowych

Po udzieleniu odpowiedzi na pytanie ( Wyodrębnianie znaczenia wagi z jednowarstwowej sieci feed-forward ) szukam wnioskowania na temat znaczenia danych wejściowych w sieciach neuronowych. Biorąc pod uwagę głęboką sieć, w której rekonstrukcja znaczenia wejściowego poprzez przejście wstecz przez warstwy z interesującego węzła wyjściowego może być trudna lub czasochłonna, zastanawiałem się, …

14 neural-networks python feature-selection sensitivity-analysis

1

Używanie iloc do ustawiania wartości [zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 2 lata temu . Ta linia zwraca pierwsze 4 wiersze w ramce danych combineddlafeature_a combined.iloc[0:4]["feature_a"] Zgodnie z oczekiwaniami ten następny wiersz zwraca 2., 4. i …

13 python pandas

2

Kiedy rejestrować / wyeksponować zmienne podczas korzystania z losowych modeli lasu?

Wykonuję regresję przy użyciu Losowych lasów do przewidywania cen na podstawie kilku atrybutów. Kod jest napisany w Pythonie przy użyciu Scikit-learn. Jak zdecydować, czy należy przekształcić zmienne za pomocą exp/ logprzed użyciem, aby dopasować je do modelu regresji? Czy jest to konieczne, gdy stosuje się podejście Ensemble, takie jak Losowy …

13 regression machine-learning predictive-models python random-forest

Pytania otagowane jako python