Statystyki i duże zbiory danych

2

Alternatywne schematy wag dla metaanalizy efektów losowych: brak standardowych odchyleń

Pracuję nad metaanalizą efektów losowych obejmującą szereg badań, w których nie zgłoszono odchyleń standardowych; we wszystkich badaniach podano wielkość próby. Nie sądzę, że możliwe jest przybliżenie lub przypisanie brakujących danych SD. W jaki sposób metaanaliza wykorzystująca surowe (niestandaryzowane) powinna oznaczać różnice jako wielkość efektu, gdy odchylenia standardowe nie są dostępne …

9 stata missing-data meta-analysis meta-regression

1

Dlaczego eliminacja wsteczna jest uzasadniona podczas regresji wielokrotnej?

Czy nie powoduje to nadmiernego dopasowania? Czy moje wyniki byłyby bardziej wiarygodne, jeśli w ramach analizy dodałem procedurę typu jack-knife lub bootstrap?

9 multiple-regression bootstrap reliability overfitting jackknife

1

Jak korzystać z anova do porównywania dwóch modeli?

Jak powinienem zrozumieć anovawynik, porównując dwa modele? Przykład: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** Strona podręcznika stwierdza: „Obliczanie tabel wariancji (lub dewiacji) dla jednego lub większej liczby dopasowanych obiektów modelu”. Jednak nasz profesor wspomniał, że można to …

9 r regression anova

1

Uzgadnianie wzmocnionych drzew regresji (BRT), uogólnionych modeli wzmocnionych (GBM) i maszyny zwiększającej gradient (GBM)

Pytania: Jaka jest różnica między drzewkami regresji wzmocnionej (BRT) a uogólnionymi modelami wzmocnionej (GBM)? Czy można ich używać zamiennie? Czy jedna jest specyficzną formą drugiej? Dlaczego Ridgeway użył wyrażenia „Uogólnione modele regresji wzmocnionej” (GBM), aby opisać to, co Friedman wcześniej zaproponował jako „maszynę do zwiększania gradientu” (GBM)? Te dwa akronimy …

9 machine-learning boosting gbm

1

Biorąc pod uwagę dwa absorbujące łańcuchy Markowa, jakie jest prawdopodobieństwo, że jeden zakończy się przed drugim?

Mam dwa różne łańcuchy Markowa, każdy z jednym stanem pochłaniania i znaną pozycją początkową. Chcę określić prawdopodobieństwo, że łańcuch 1 osiągnie stan pochłaniania w mniejszej liczbie kroków niż łańcuch 2. Myślę, że mogę obliczyć prawdopodobieństwo osiągnięcia stanu pochłaniania w danym łańcuchu po n krokach: biorąc pod uwagę macierz przejściową prawdopodobieństwo …

9 probability markov-chain transition-matrix

2

Testy historyczne lub weryfikacja krzyżowa, gdy proces budowania modelu był interaktywny

Mam kilka modeli predykcyjnych, których wydajność chciałbym przetestować ponownie (tj. Zabrać mój zestaw danych, „przewinąć” go do poprzedniego momentu i zobaczyć, jak ten model działałby prospektywnie). Problem polega na tym, że niektóre z moich modeli zostały zbudowane w procesie interaktywnym. Na przykład, zgodnie z zaleceniami Strategii modelowania regresji Franka Harrella …

9 cross-validation modeling outliers splines overfitting

2

Oszacowanie błędu braku worka do zwiększenia?

W Random Forest każde drzewo jest uprawiane równolegle na unikalnej próbce danych doładowania. Ponieważ oczekuje się, że każda próbka przypominająca zawiera około 63% unikalnych obserwacji, pozostawia to około 37% obserwacji, które można wykorzystać do testowania drzewa. Teraz wydaje się, że w Stochastic Gradient Boosting istnieje również OOBerrorOOBerrorOOB_{error} oszacowanie podobne do …

9 machine-learning cross-validation data-mining random-forest boosting

2

Jak znaleźć wagi dla miary niezgodności

Chcę nauczyć się (wydedukować) wagi atrybutów dla mojej miary niepodobieństwa, której mogę używać do grupowania. Mam kilka przykładów par obiektów, które są „podobne” (powinny znajdować się w tej samej grupie), a także kilka przykładów par obiektów, które są „nie podobne” (nie powinny być w tej samej grupie). Każdy obiekt posiada …

9 clustering similarities supervised-learning semi-supervised

1

Jak znaleźć i ocenić optymalną dyskretyzację zmiennej ciągłej z kryterium ?

Mam zestaw danych ze zmienną ciągłą i binarną zmienną docelową (0 i 1). Muszę zdyskretyzować zmienne ciągłe (w przypadku regresji logistycznej) w odniesieniu do zmiennej docelowej oraz z ograniczeniem, że częstotliwość obserwacji w każdym przedziale powinna być zrównoważona. Próbowałem algorytmów uczenia maszynowego, takich jak Chi Merge, drzewa decyzyjne. Scalanie chi …

9 r machine-learning chi-squared discrete-data supervised-learning

4

Dokładny test Fishera na sparowanych danych

Biorąc pod uwagę przypadków raka płuc i dopasowanych kontroli (bez raka płuc) (dopasowanie w zależności od wieku, płci itp.). Aby znaleźć dowody na wpływ palenia na raka płuc, zastosowałem dokładny test Fishera na stole awaryjnym. Nie wzięto jednak pod uwagę, że kontrole i przypadki zostały dopasowane. 404040404040 Zastanawiałem się więc, …

9 contingency-tables fishers-exact paired-data mcnemar-test

2

Czy drzewa CART wychwytują interakcje między predyktorami?

Ten artykuł twierdzi, że w CART, ponieważ podział binarny jest wykonywany na jednej zmiennej towarzyszącej na każdym etapie, wszystkie podziały są ortogonalne, a zatem interakcje między zmiennymi towarzyszącymi nie są brane pod uwagę. Jednak wiele bardzo poważnych odniesień twierdzi, wręcz przeciwnie, że hierarchiczna struktura drzewa gwarantuje, że interakcje między predyktorami …

9 machine-learning classification data-mining cart

2

Jak mogę wykorzystać te dane do kalibracji markerów o różnych poziomach hojności przy ocenie prac studentów?

12 nauczycieli uczy 600 uczniów. 12 kohort nauczanych przez tych nauczycieli mieści się w przedziale od 40 do 90 studentów i oczekujemy systematycznych różnic między kohortami, ponieważ absolwenci byli nieproporcjonalnie przydzieleni do poszczególnych kohort, a wcześniejsze doświadczenia wykazały, że średnia ocena absolwentów jest znacznie wyższa niż studenci studiów licencjackich. Nauczyciele …

9 teaching agreement-statistics

2

Liniowa kombinacja dwóch losowych nienormalnych, która wciąż jest członkiem tej samej rodziny

Dobrze wiadomo, że liniowa kombinacja 2 losowych zmiennych normalnych jest również losową zmienną normalną. Czy istnieją jakieś wspólne niestandardowe rodziny dystrybucji (np. Weibull), które również dzielą tę właściwość? Wydaje się, że istnieje wiele kontrprzykładów. Na przykład liniowa kombinacja mundurów zwykle nie jest jednolita. W szczególności, czy istnieją jakieś nienormalne rodziny …

9 distributions linear

2

Jak przedstawić zużycie kWh na rok względem średniej temperatury?

Dla zabawy chcę zobrazować moje miesięczne zużycie energii w gospodarstwach domowych w ujęciu rocznym. Chciałbym jednak dołączyć pewne odniesienie do miesięcznej temperatury, dzięki czemu mogę ustalić, czy mój dom lub zachowanie poprawia się, pogarsza lub utrzymuje stałe w odniesieniu do zużycia kWh. Dane, z którymi pracuję: +----------+--------+-----------+----------------+----------+-----------+------------+ | Month | …

9 data-visualization

1

Zastosowanie teorii informacji w informatyce stosowanej

Dzisiaj natknąłem się na książkę „Teoria informacji: wprowadzenie do samouczka” Jamesa Stone'a i przez chwilę zastanawiałem się nad zakresem zastosowania teorii informacji w nauce o danych stosowanych (jeśli nie czujesz się komfortowo z tym wciąż nieco rozmytym terminem, pomyśl o analizie danych , której nauka IMHO jest uwielbioną wersją). Jestem …

9 information-theory