Statystyki i duże zbiory danych

2

Muszę wdrożyć program, który klasyfikuje rekordy na 2 kategorie (prawda / fałsz) na podstawie niektórych danych szkoleniowych i zastanawiałem się, na jaki algorytm / metodologię powinienem patrzeć. Wygląda na to, że jest ich wiele do wyboru - sztuczna sieć neuronowa, algorytm genetyczny, uczenie maszynowe, optymalizacja bayesowska itp. Itd. I nie …

21 machine-learning bayesian optimization genetic-algorithms

5

Wprowadzenie do teorii miary

Chciałbym dowiedzieć się więcej o nieparametrycznych technikach bayesowskich (i pokrewnych). Mam doświadczenie w informatyce i chociaż nigdy nie brałem udziału w kursie teorii miary lub teorii prawdopodobieństwa, miałem ograniczone formalne szkolenie w zakresie prawdopodobieństwa i statystyki. Czy ktoś może polecić czytelne wprowadzenie do tych pojęć, aby zacząć?

21 probability bayesian references theory

2

Pomiar podobieństwa dokumentu

Do grupowania dokumentów (tekstowych) potrzebny jest sposób pomiaru podobieństwa między parami dokumentów. Dwie alternatywy to: Porównaj dokumenty jako wektory terminów za pomocą podobieństwa Cosinus - i TF / IDF jako ważenia terminów. Porównaj rozkład prawdopodobieństwa każdego dokumentu za pomocą rozbieżności f, np. Rozbieżności Kullbacka-Leiblera Czy jest jakiś intuicyjny powód, aby …

21 information-retrieval

2

Jak zmierzyć / argumentować, czy dopasowanie linii trendu do prawa energetycznego jest dobre?

Mam pewne dane, do których próbuję dopasować linię trendu. Wierzę, że dane są zgodne z prawem mocy, dlatego narysowałem dane na osiach log-log, szukając linii prostej. Spowodowało to (prawie) linię prostą, dlatego w programie Excel dodałem linię trendu dla prawa mocy. Będąc nowością statystyczną, moje pytanie brzmi: w jaki sposób …

21 goodness-of-fit power-law

3

Współczynnik determinacji ( ): Nigdy w pełni nie zrozumiałem interpretacji

Chcę w pełni zrozumieć pojęcie opisujące wielkość zmienności między zmiennymi. Każde internetowe wyjaśnienie jest trochę mechaniczne i tępe. Chcę „zrozumieć” tę koncepcję, nie tylko mechanicznie używać liczb.r2r2r^2 Np .: Przebadane godziny vs. wynik testu rrr = 0,8 r2r2r^2 = 0,64 Co to znaczy? 64% zmienności wyników testu można wytłumaczyć godzinami? …

21 regression correlation variance

5

Jak ulepszyć moją sieć neuronową w przewidywaniu fal sinusoidalnych?

Spójrz: możesz dokładnie zobaczyć, gdzie kończą się dane treningowe. Dane treningowe wynoszą od do .1- 1-1-1111 Użyłem Keras i gęstej sieci 1-100-100-2 z aktywacją tanh. Obliczam wynik z dwóch wartości, p i q jako p / q. W ten sposób mogę uzyskać dowolny rozmiar liczby, używając tylko wartości mniejszych niż …

21 regression neural-networks python keras

1

Generowanie skorelowanych zmiennych losowych dwumianowych

Zastanawiałem się, czy możliwe jest wygenerowanie skorelowanych losowych zmiennych dwumianowych po zastosowaniu transformacji liniowej? Poniżej wypróbowałem coś prostego w R i daje to pewną korelację. Ale zastanawiałem się, czy istnieje jakiś zasadny sposób, aby to zrobić? X1 = rbinom(1e4, 6, .5) ; X2 = rbinom(1e4, 6, .5) ; X3 = …

21 r correlation binomial random-generation bernoulli-distribution

3

Jak interpretować błąd średniej kwadratowej (RMSE) vs. odchylenie standardowe?

Powiedzmy, że mam model, który daje mi prognozowane wartości. Obliczam RMSE tych wartości. A potem odchylenie standardowe wartości rzeczywistych. Czy ma sens porównywanie tych dwóch wartości (wariancji)? Myślę, że jeśli RMSE i odchylenie standardowe są podobne / takie same, błąd / wariancja mojego modelu jest taka sama, jak w rzeczywistości. …

21 standard-deviation standard-error rms

3

Czy potrzebujemy zestawu testowego, gdy korzystamy z krzyżowej weryfikacji k-fold?

Czytałem o walidacji k-fold i chcę się upewnić, że rozumiem, jak to działa. Wiem, że w przypadku metody wstrzymania dane są podzielone na trzy zestawy, a zestaw testowy jest używany tylko na samym końcu do oceny wydajności modelu, podczas gdy zestaw sprawdzania poprawności służy do dostrajania hiperparametrów itp. W metodzie …

21 cross-validation validation out-of-sample

4

Entropia obrazu

Jaki jest najbardziej poprawny pod względem teoretycznym / informacyjnym sposób obliczenia entropii obrazu? W tej chwili nie dbam o wydajność obliczeniową - chcę, aby teoretycznie była jak najbardziej poprawna. Zacznijmy od obrazu w skali szarości. Jednym intuicyjnym podejściem jest rozważenie obrazu jako worka pikseli i obliczenie gdzie jest liczbą poziomów …

21 spatial entropy image-processing

2

Jak podsumować wiarygodne interwały dla odbiorców medycznych

Ze Stanem i pakietów frontend rstanarmczy brmsmogę łatwo analizować dane droga Bayesa jak ja zanim z mieszanych modeli takich jak lme. Chociaż na biurku mam większość książek i artykułów Kruschke-Gelman-Wagenmakers itp., Nie mówią mi one, jak podsumować wyniki dla medycznej publiczności, rozdartej między Skylla gniewu Bayesiana a Charybdą recenzentów medycznych …

21 statistical-significance bayesian stan credible-interval medicine

5

Podejście statystyczne do ustalenia, czy dane brakuje przypadkowo

Mam duży zestaw wektorów cech, których użyję do zaatakowania problemu z klasyfikacją binarną (za pomocą scikit learn w Pythonie). Zanim zacznę myśleć o imputacji, jestem zainteresowany próbą ustalenia na podstawie pozostałych części danych, czy brakujące dane są „losowo brakujące”, czy nie losowe. Jak rozsądnie podejść do tego pytania? Okazuje się, …

21 missing-data randomness

2

Jak działa metoda transformacji odwrotnej?

Jak działa metoda inwersji? Powiedzmy, że mam losową próbkę o gęstości powyżej a zatem z cdf na . Następnie metodą inwersji otrzymuję rozkład jako . f ( x ; θ ) = 1X1, X2), . . . , XnX1,X2),...,XnX_1,X_2,...,X_n 0<x<1FX(x)=x1/θ(0,1)XF - 1 X(u)=uθfa( x ; θ ) = 1θx( 1 …

21 r distributions inference random-generation inverse-cdf

2

Dlaczego tak się nazywa zmienna losowa „ujemna dwumianowa”?

Nie rozumiem, dlaczego zmienna losowa „ujemny dwumianowy” ma taką nazwę. Co jest w tym negatywnego? Co jest w tym dwumianowe? Co to jest w tym przypadku dwumian ujemny?

21 distributions random-variable terminology negative-binomial

2

Jakie są założenia regresji grzbietu i jak je przetestować?

Rozważmy standardowy model regresji wielokrotnej gdzie , więc normalność, homoscedastyczność i nieskorelacja błędów pozostają w mocy.Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2)jan)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Załóżmy, że wykonujemy regresję grzbietu, dodając tę samą niewielką ilość do wszystkich elementów przekątnej :XXX βr i d g e= [ X′X+ k …

21 regression assumptions ridge-regression