Statystyki i duże zbiory danych

3

Dlaczego ważne jest rozróżnienie między regresją „liniową” a „nieliniową”?

Jakie jest znaczenie rozróżnienia między modelami liniowymi i nieliniowymi? Pytanie Nieliniowy vs. uogólniony model liniowy: jak odnosisz się do regresji logistycznej, Poissona itp.? a jego odpowiedzią było niezwykle pomocne wyjaśnienie liniowości / nieliniowości uogólnionych modeli liniowych. Rozróżnienie modeli liniowych od nieliniowych wydaje się niezwykle ważne, ale nie jest dla mnie …

12 linear-model nonlinear-regression nonlinear

2

Suma ocen ratingowych vs. szacunkowe wyniki czynnikowe?

Byłbym zainteresowany otrzymywaniem sugestii, kiedy używać „ wyników czynnikowych ” zamiast zwykłej sumy wyników podczas konstruowania skal. Tj. „Wyrafinowane” w porównaniu z „nierafinowanymi” metodami oceny czynnika. Od DiStefano i in. (2009; pdf ), podkreślenie dodane: Istnieją dwie główne klasy metod obliczania wyniku czynnikowego: wyrafinowane i nierafinowane. Nierafinowane metody są stosunkowo …

12 factor-analysis sem scales

1

Specjalny rozkład prawdopodobieństwa

Jeśli jest rozkładem prawdopodobieństwa z niezerowymi wartościami na , dla jakiego typu (typów) istnieje stała taka, że dla wszystkich ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20<ϵ<10<ϵ<10\lt\epsilon\lt 1 Powyższa nierówność jest w rzeczywistości rozbieżnością Kullbacka-Leiblera między rozkładem a jego skompresowaną wersją . Dowiedziałem się, że ta nierówność dotyczy rozkładów wykładniczych, gamma i …

12 probability stochastic-processes kullback-leibler probability-inequalities

2

Czy twierdzenie Słuckiego jest nadal aktualne, gdy obie sekwencje zbiegają się w nie-zdegenerowanej zmiennej losowej?

Jestem zdezorientowany niektórymi szczegółami na temat twierdzenia Słuckiego : Niech , będą dwiema sekwencjami losowych elementów skalarnych / wektorowych / macierzowych.{ Y n }{ Xn}{Xn}\{X_n\}{ Yn}{Yn}\{Y_n\} Jeśli zbiega się w rozkładzie do losowego elementu a zbiega się w prawdopodobieństwie do stałej , to pod warunkiem, że c jest odwracalne, gdzie …

12 probability random-variable convergence slutsky-theorem

1

Oczekiwana wartość , współczynnik determinacji, pod hipotezą zerową

Jestem ciekawy stwierdzenia dokonanego na dole pierwszej strony tego tekstu dotyczącego korektyR2adjustedRadjusted2R^2_\mathrm{adjusted} R2adjusted=1−(1−R2)(n−1n−m−1).Radjusted2=1−(1−R2)(n−1n−m−1).R^2_\mathrm{adjusted} =1-(1-R^2)\left({\frac{n-1}{n-m-1}}\right). Tekst stanowi: Logika korekty jest następująca: w zwykłej regresji wielokrotnej predyktor losowy wyjaśnia średnio proporcję 1/(n–1)1/(n–1)1/(n – 1) zmiany odpowiedzi, tak że mmm losowych predyktorów wyjaśnia razem, średnio m/(n–1)m/(n–1)m/(n – 1) wariantu odpowiedzi; innymi słowy, oczekiwana …

12 regression expected-value goodness-of-fit r-squared

2

Pochodna procesu gaussowskiego

Uważam, że pochodna procesu Gaussa (GP) jest innym GP, więc chciałbym wiedzieć, czy istnieją równania w postaci zamkniętej dla równań predykcyjnych pochodnej GP? W szczególności używam kwadratowego wykładniczego jądra kowariancji (zwanego również gaussowskim) i chcę wiedzieć o przewidywaniu pochodnej procesu Gaussa.

12 stochastic-processes gaussian-process derivative

2

Jak wybrać optymalną szerokość pojemnika podczas kalibracji modeli prawdopodobieństwa?

Tło: Istnieje kilka świetnych pytań / odpowiedzi na temat kalibracji modeli, które przewidują prawdopodobieństwo wystąpienia wyniku. Na przykład Wynik Briera i jego rozkład na rozdzielczość, niepewność i wiarygodność . Wykresy kalibracyjne i regresja izotoniczna . Metody te często wymagają zastosowania metody binowania na przewidywanych prawdopodobieństwach, dzięki czemu zachowanie wyniku (0, …

12 probability predictive-models binary-data calibration scoring-rules

3

Dlaczego hierarchiczny softmax jest lepszy dla rzadkich słów, podczas gdy negatywne próbkowanie jest lepsze dla częstych słów?

Zastanawiam się, dlaczego hierarchiczny softmax jest lepszy dla rzadkich słów, podczas gdy negatywne próbkowanie jest lepsze dla częstych słów, w modelach CBOW i skip-gram w word2vec. Przeczytałem roszczenie na https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

1

Oceny „w przybliżeniu normalne” dla testów t

Testuję równość środków za pomocą testu t Welcha. Podstawowy rozkład jest daleki od normalnego (bardziej wypaczony niż przykład w pokrewnej dyskusji tutaj ). Mogę uzyskać więcej danych, ale chciałbym w pewien sposób ustalić sposób, w jaki sposób to zrobić. Czy istnieje dobra heurystyka dla dokonania oceny, czy rozkład próbki jest …

12 normal-distribution t-test bootstrap central-limit-theorem approximation

1

Identyczne współczynniki oszacowane w modelu Poissona vs Quasi-Poissona

W modelowaniu danych dotyczących liczby roszczeń w środowisku ubezpieczeniowym zacząłem od Poissona, ale zauważyłem nadmierną dyspersję. Quasi-Poisson lepiej modelował większy związek średniej wariancji niż podstawowy Poisson, ale zauważyłem, że współczynniki były identyczne zarówno w modelach Poissona, jak i Quasi-Poissona. Jeśli to nie jest błąd, dlaczego tak się dzieje? Jakie są …

12 r count-data poisson-regression overdispersion quasi-likelihood

1

Gra karciana: jeśli losuję cztery karty losowo, a ty losujesz sześć, jakie jest prawdopodobieństwo, że moja najwyższa karta jest wyższa niż najwyższa?

Jak podano w tytule, powiedzmy, jeśli losuję 4 karty, a ty dobierasz 6 z tej samej talii, jakie jest prawdopodobieństwo, że moja najwyższa karta pobije Twoją najwyższą kartę? Jak to się zmieni, jeśli będziemy czerpać z różnych talii? Dzięki!

12 probability maximum

1

Test dobroci dopasowania w regresji logistycznej; które „dopasowanie” chcemy przetestować?

Mam na myśli pytanie i odpowiedzi: Jak porównać (prawdopodobieństwo) zdolność predykcyjną modeli opracowanych na podstawie regresji logistycznej? autor: @Clark Chong oraz odpowiedzi / komentarze @Frank Harrell. oraz na pytanie Stopnie swobody w teście Hosmer-Lemeshowχ2χ2\chi^2 i w komentarzach. Przeczytałem artykuł DW Hosmer, T. Hosmer, S. Le Cessie, S. Lemeshow, „Porównanie testów …

12 hypothesis-testing logistic predictive-models regression-strategies hosmer-lemeshow-test

1

Zwykła regresja logistyczna w Pythonie

Chciałbym uruchomić porządkową regresję logistyczną w Pythonie - dla zmiennej odpowiedzi z trzema poziomami i kilkoma czynnikami objaśniającymi. statsmodelsPakiet obsługuje binarny logit i wielomianu logitowe modele (MNLogit), ale nie uporządkowaną logit. Ponieważ podstawowa matematyka nie różni się tak bardzo, zastanawiam się, czy można ją łatwo wdrożyć za pomocą tych? (Alternatywnie, …

12 categorical-data python logit ordered-logit statsmodels

4

Wskazówki, że problem jest odpowiedni dla regresji liniowej

Uczę się regresji liniowej za pomocą Wstępu do analizy regresji liniowej autorstwa Montgomery'ego, Pecka i Vininga . Chciałbym wybrać projekt analizy danych. Naiwnie uważam, że regresja liniowa jest odpowiednia tylko wtedy, gdy podejrzewa się, że istnieją liniowe zależności funkcjonalne między zmiennymi objaśniającymi a zmiennymi odpowiedzi. Ale niewiele rzeczywistych aplikacji wydaje …

12 regression data-transformation model linear regression-strategies

2

Tłumaczenie problemu uczenia maszynowego na ramy regresji

Załóżmy, że mam panel zmiennych objaśniających , dla , , a także wektor zmiennych zależnych od wyniku binarnego . Zatem obserwuje się tylko w czasie końcowym a nie w żadnym wcześniejszym czasie. Całkowicie ogólnym przypadkiem jest wielokrotność dla dla każdej jednostki w każdym czasie , ale skupmy się na przypadku …

12 regression machine-learning reinforcement-learning