Pytania otagowane jako kullback-leibler

Asymetryczna miara odległości (lub niepodobieństwa) między rozkładami prawdopodobieństwa. Można to zinterpretować jako wartość oczekiwaną współczynnika wiarygodności logarytmu w ramach hipotezy alternatywnej.

3
Oblicz w praktyce rozbieżność Kullbacka-Leiblera?
Używam KL Divergence jako miary odmienności między 2 p.m.f.p.m.f.p.m.f. PPP i QQQ . DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Jeśli to możemy łatwo obliczyć, że P ( X i ) l n ( Q ( X i ) ) = 0 P ( …
4
Masz pytania dotyczące dywergencji KL?
Porównuję dwie rozkłady z rozbieżnością KL, która zwraca mi niestandaryzowaną liczbę, która zgodnie z tym, co czytam o tej mierze, jest ilością informacji potrzebną do przekształcenia jednej hipotezy w drugą. Mam dwa pytania: a) Czy istnieje sposób kwantyfikacji dywergencji KL, aby miał bardziej sensowną interpretację, np. wielkość efektu lub R …
1
Specjalny rozkład prawdopodobieństwa
Jeśli jest rozkładem prawdopodobieństwa z niezerowymi wartościami na , dla jakiego typu (typów) istnieje stała taka, że dla wszystkich ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20<ϵ<10<ϵ<10\lt\epsilon\lt 1 Powyższa nierówność jest w rzeczywistości rozbieżnością Kullbacka-Leiblera między rozkładem a jego skompresowaną wersją . Dowiedziałem się, że ta nierówność dotyczy rozkładów wykładniczych, gamma i …
3
Czy można zastosować rozbieżność KL między rozkładem dyskretnym a ciągłym?
Nie jestem matematykiem. Przeszukałem internet o dywergencji KL. Nauczyłem się, że dywergencja KL mierzy utracone informacje, gdy przybliżamy rozkład modelu w odniesieniu do rozkładu wejściowego. Widziałem je między dowolnymi dwoma ciągłymi lub dyskretnymi rozkładami. Czy możemy to zrobić między ciągłym a dyskretnym lub odwrotnie?
1
Interpretacja pochodnej Radon-Nikodym między miarami prawdopodobieństwa?
W niektórych momentach widziałem zastosowanie pochodnej Radona-Nikodyma jednej miary prawdopodobieństwa w stosunku do drugiej, szczególnie w dywergencji Kullbacka-Leiblera, gdzie jest to pochodna miary prawdopodobieństwa modelu dla jakiegoś dowolnego parametru w odniesieniu do rzeczywistego parametru :θ 0θθ\thetaθ0θ0\theta_0 reP.θreP.θ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Gdzie są to oba miary prawdopodobieństwa w przestrzeni punktów danych, zależne od …
1
R / mgcv: Dlaczego produkty tensorowe te () i ti () wytwarzają różne powierzchnie?
mgcvOpakowanie Rposiada dwie funkcje montowania interakcji produktów napinacz: te()i ti(). Rozumiem podstawowy podział pracy między nimi (dopasowanie interakcji nieliniowej vs. rozkładanie tej interakcji na główne efekty i interakcję). To, czego nie rozumiem, to dlaczego te(x1, x2)i ti(x1) + ti(x2) + ti(x1, x2)może powodować (nieznacznie) różne wyniki. MWE (dostosowany z ?ti): …
11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 
3
Odległość między dwiema mieszankami gaussowskimi do oceny rozwiązań klastrowych
Korzystam z szybkiej symulacji, aby porównać różne metody klastrowania, i obecnie mam problem z oceną rozwiązań klastrowych. Znam różne miary sprawdzania poprawności (wiele z nich znajduje się w klaster.stats () w R), ale zakładam, że najlepiej je wykorzystać, jeśli szacunkowa liczba klastrów faktycznie równa się prawdziwej liczbie klastrów. Chcę zachować …
2
Rozbieżność Kullbacka-Leiblera dla dwóch próbek
Próbowałem zaimplementować oszacowanie liczbowe dywergencji Kullbacka-Leiblera dla dwóch próbek. Aby debugować implementację, narysuj próbki z dwóch rozkładów normalnych N(0,1)N(0,1)\mathcal N (0,1) i N(1,2)N(1,2)\mathcal N (1,2) . Dla prostego oszacowania wygenerowałem dwa histogramy i próbowałem liczbowo aproksymować całkę. Utknąłem z obsługą tych części histogramu, w których przedziały jednego z histogramów mają …
2
Testowanie hipotez i całkowity dystans wariancji vs. dywergencja Kullbacka-Leiblera
W moich badaniach natrafiłem na następujący ogólny problem: mam dwie rozkłady i w tej samej domenie i dużą (ale skończoną) liczbę próbek z tych rozkładów. Próbki są niezależnie i identycznie rozmieszczone z jednego z tych dwóch rozkładów (chociaż rozkłady mogą być powiązane: na przykład Q może być mieszaniną P i …
2
KL Strata z jednostką Gaussa
Wdrażam VAE i zauważyłem w Internecie dwie różne implementacje uproszczonej rozbieżności Gaussa KL dla jednej zmiennej. Oryginalna rozbieżność, jak tutaj, jest K.L.l o s s= log(σ2)σ1) +σ2)1+ (μ1-μ2))2)2)σ2)2)-12)K.L.loss=log⁡(σ2)σ1)+σ12)+(μ1-μ2))2)2)σ2)2)-12) KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} Jeśli założymy, że nasz przeor jest jednostką gaussowską tj μ2)= 0μ2)=0\mu_2=0 i σ2)= 1σ2)=1\sigma_2=1, upraszcza to do K.L.l o s s= …
3
Oszacuj rozbieżność Kullback Leibler (KL) z Monte Carlo
Chcę oszacować rozbieżność KL między dwoma ciągłymi rozkładami f i g. Nie mogę jednak zapisać gęstości dla f lub g. Mogę próbkować zf i g za pomocą jakiejś metody (na przykład markov chain Monte Carlo). Rozbieżność KL od f do g jest zdefiniowana w następujący sposób reK.L.( f| | sol) …
1
R regresja liniowa zmienna kategorialna „ukryta” wartość
To tylko przykład, na który natknąłem się kilka razy, więc nie mam żadnych przykładowych danych. Uruchamianie modelu regresji liniowej w R: a.lm = lm(Y ~ x1 + x2) x1jest zmienną ciągłą. x2jest kategoryczny i ma trzy wartości, np. „Niska”, „Średnia” i „Wysoka”. Jednak dane wyjściowe podane przez R byłyby mniej …
10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.