Statystyki i duże zbiory danych

1

Czy możliwa jest interakcja między dwiema zmiennymi ciągłymi?

Wszystkie moje zmienne są ciągłe. Nie ma poziomów. Jest to możliwe nawet mieć interakcji między zmiennymi?

27 regression modeling interaction

3

Czy ujemne prawdopodobieństwa / amplitudy prawdopodobieństwa mają zastosowania poza mechaniką kwantową?

Mechanika kwantowa uogólniła teorię prawdopodobieństwa na liczby ujemne / urojone, głównie w celu wyjaśnienia wzorów interferencji, dualizmu fal / cząstek i ogólnie takich dziwnych rzeczy. Można to jednak postrzegać bardziej abstrakcyjnie jako nieprzemienne uogólnienie prawdopodobieństwa Bayesa (cytat z Terrence Tao). Jestem ciekawa tych rzeczy, choć w żadnym wypadku nie jestem …

27 probability

6

Zależność między rozkładami dwumianowymi i beta

Jestem bardziej programistą niż statystykiem, więc mam nadzieję, że to pytanie nie jest zbyt naiwne. Zdarza się to w losowych wykonaniach programu do pobierania próbek. Jeśli wezmę N = 10 losowo wybranych próbek stanu programu, zobaczyłem, że funkcja Foo jest wykonywana na przykład na I = 3 z tych próbek. …

27 binomial beta-binomial beta-distribution

9

Oprogramowanie do analizy statystyk i eksploracji danych do obsługi dużych zestawów danych

Obecnie muszę przeanalizować około 20 milionów rekordów i zbudować modele predykcyjne. Do tej pory wypróbowałem Statistica, SPSS, RapidMiner i R. Wśród nich Statistica wydaje się najbardziej odpowiedni do eksploracji danych, a interfejs użytkownika RapidMiner jest również bardzo przydatny, ale wydaje się, że Statistica, RapidMiner i SPSS są odpowiednie tylko dla …

27 large-data software data-mining

5

Czy ze statystycznego punktu widzenia można wnioskować o przyczynowości na podstawie wyników oceny skłonności w badaniu obserwacyjnym?

Pytanie: Czy z punktu widzenia statystyki (lub praktyka) można wnioskować o przyczynowości na podstawie wyników skłonności w badaniu obserwacyjnym ( nie w eksperymencie )? Proszę, nie chcę rozpętać wojny z płomieniami ani fanatycznej debaty. Kontekst: W ramach naszego programu doktoranckiego statystyką zajmowaliśmy się jedynie wnioskami przyczynowymi za pośrednictwem grup roboczych …

27 causality propensity-scores

4

Prawdopodobieństwo, że nie narysuje słowa z worka liter w Scrabble

Załóżmy, że masz torbę z płytkami, z których każda zawiera literę. Są kafelki z literą „A”, z „B” itd., I „symbole wieloznaczne” (mamy ). Załóżmy, że masz słownik ze skończoną liczbą słów. Z torby wybierasz płytek bez wymiany. Jak obliczysz (lub oszacujesz) prawdopodobieństwo, że możesz sformułować zero słów ze słownika, …

27 sampling games probability

3

Uczenie się bez nadzoru, pod nadzorem i częściowo pod nadzorem

Jaka jest różnica w kontekście uczenia maszynowego uczenie się bez nadzoru nadzorowane uczenie się i częściowo nadzorowane uczenie się? Jakie są niektóre z głównych podejść algorytmicznych?

27 machine-learning unsupervised-learning supervised-learning semi-supervised

6

Po co studiować optymalizację wypukłą dla teoretycznego uczenia maszynowego?

Pracuję nad teoretycznym uczeniem maszynowym - a konkretnie nad uczeniem się przez transfer - dla mojego doktoratu. Z ciekawości, dlaczego powinienem wziąć kurs optymalizacji wypukłej? Jakie wnioski z optymalizacji wypukłej mogę wykorzystać w swoich badaniach nad teoretycznym uczeniem maszynowym?

27 machine-learning optimization convex transfer-learning

2

Obszar pod krzywą Precyzja-przywołanie (AUC krzywej PR) i Średnia precyzja (AP)

Czy średnia precyzja (AP) to obszar pod krzywą Precyzja-przywołanie (AUC krzywej PR)? EDYTOWAĆ: oto komentarz na temat różnicy w AUC PR i AP. AUC jest uzyskiwane przez trapezoidalną interpolację precyzji. Alternatywnym i zwykle prawie równoważnym miernikiem jest średnia precyzja (AP), zwracana jako info.ap. Jest to średnia precyzji uzyskanej za każdym …

27 scikit-learn precision-recall auc average-precision

2

Dlaczego kara Lasso jest równoważna podwójnemu wykładniczemu (Laplaceowi) przedtem?

Czytałem w wielu odnośnikach, że oszacowanie Lasso dla wektora parametru regresji jest równoważne trybowi tylnemu w którym poprzedni rozkład dla każdego jest podwójnym wykładniczym (znanym również jako rozkład Laplace'a).BBBBBBBiBiB_i Próbowałem to udowodnić, czy ktoś może dopracować szczegóły?

27 regression bayesian lasso prior regularization

6

Dlaczego mniejsze ciężary powodują prostsze modele regularyzacji?

Ukończyłem kurs uczenia maszynowego Andrew Nga około rok temu, a teraz piszę moje badanie matematyki w szkole średniej na temat działania regresji logistycznej i technik optymalizacji wydajności. Jedną z tych technik jest oczywiście regularyzacja. Celem regularyzacji jest zapobieganie nadmiernemu dopasowaniu poprzez rozszerzenie funkcji kosztów o cel prostoty modelu. Możemy to …

27 regression machine-learning optimization regularization overfitting

1

przewidywanie () Funkcja dla mniejszych modeli efektów mieszanych

Problem: Przeczytałem w innych postach, które predictnie są dostępne dla lmermodeli z efektami mieszanymi {lme4} w [R]. Próbowałem zgłębić ten temat za pomocą zestawu danych o zabawkach ... Tło: Zestaw danych jest dostosowany z tego źródła i dostępny jako ... require(gsheet) data <- read.csv(text = gsheet2text('https://docs.google.com/spreadsheets/d/1QgtDcGJebyfW7TJsB8n6rAmsyAnlz1xkT3RuPFICTdk/edit?usp=sharing', format ='csv')) Oto pierwsze …

27 r mixed-model lme4-nlme

4

Zespół różnych rodzajów regresorów wykorzystujących scikit-learn (lub dowolną inną platformę python)

Próbuję rozwiązać zadanie regresji. Dowiedziałem się, że 3 modele działają dobrze dla różnych podzbiorów danych: LassoLARS, SVR i Gradient Tree Boosting. Zauważyłem, że kiedy robię prognozy na podstawie tych wszystkich 3 modeli, a następnie tworzę tabelę „rzeczywistych wyników” i wyników moich 3 modeli, widzę, że za każdym razem przynajmniej jeden …

27 regression scikit-learn ensemble

2

Jak używać jednocześnie zmiennych binarnych i ciągłych w grupowaniu?

Potrzebuję użyć zmiennych binarnych (wartości 0 i 1) w k-średnich. Ale k-średnie działa tylko ze zmiennymi ciągłymi. Wiem, że niektórzy ludzie nadal używają tych zmiennych binarnych w k-średnich, ignorując fakt, że k-średnie jest zaprojektowane tylko dla zmiennych ciągłych. To jest dla mnie nie do przyjęcia. Pytania: Jaki jest zatem statystycznie …

27 r clustering binary-data k-means mixed-type-data

2

Czy powinniśmy zajmować się korektami wielu porównań, stosując przedziały ufności?

Załóżmy, że mamy scenariusz wielokrotnych porównań, takich jak wnioskowanie post hoc na statystyce parami lub jak regresja wielokrotna, w której dokonujemy w sumie porównań. Załóżmy również, że chcielibyśmy poprzeć wnioskowanie w tych wielokrotnościach z wykorzystaniem przedziałów ufności.mmm 1. Czy stosujemy wiele korekt porównawczych do elementów CI? Oznacza to, że podobnie …

27 confidence-interval multiple-comparisons inference