Pytania otagowane jako mutual-information

informacja wzajemna to pojęcie z teorii informacji. Jest miarą łącznej zależności między dwiema zmiennymi losowymi, która nie jest, jak zwykły współczynnik korelacji, ograniczona do zmiennych skalarnych.

3
Czy algorytm MIC do wykrywania korelacji nieliniowych można wyjaśnić intuicyjnie?
Niedawno przeczytałem dwa artykuły. Pierwszy dotyczy historii korelacji, a drugi nowej metody o nazwie Maksymalny współczynnik informacyjny (MIC). Potrzebuję twojej pomocy w zrozumieniu metody MIC w celu oszacowania nieliniowych korelacji między zmiennymi. Ponadto instrukcje dotyczące jego używania w języku R można znaleźć na stronie internetowej autora (w części Pliki do …
2
Ograniczone wzajemne informacje ograniczają się do punktowej wzajemnej informacji
Załóżmy, że mam dwa zbiory XXX i oraz łączny rozkład prawdopodobieństwa dla tych zbiorów . Niech i oznaczają brzegowe rozkładu ponad i odpowiednio.YYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Wspólna informacja między i jest zdefiniowana jako: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) tzn. jest to średnia wartość punktowej wzajemnej informacji pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Załóżmy, że znam górną …
1
Jaka intuicja kryje się za wymiennymi próbkami pod hipotezą zerową?
Testy permutacyjne (zwane również testem randomizacji, testem ponownej randomizacji lub testem dokładnym) są bardzo przydatne i przydają się, gdy t-testnie jest spełnione założenie o rozkładzie normalnym wymagane na przykład i gdy transformacja wartości przez ranking test nieparametryczny, Mann-Whitney-U-testktóry prowadziłby do utraty większej ilości informacji. Jednak nie należy zapominać o jednym …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
1
Korelacja odległości a wzajemna informacja
Od pewnego czasu pracuję z wzajemnymi informacjami. Ale znalazłem bardzo niedawną miarę w „świecie korelacji”, którą można również wykorzystać do pomiaru niezależności dystrybucji, tak zwaną „korelację odległości” (zwaną także korelacją Browna): http://en.wikipedia.org/wiki/Brownian_covariance . Sprawdziłem dokumenty, w których wprowadzono ten środek, ale nie znalazłem żadnych aluzji do wzajemnych informacji. Tak więc …
1
Jakie jest znaczenie wektorów własnych wzajemnej matrycy informacji?
Patrząc na wektory własne macierzy kowariancji, otrzymujemy kierunki maksymalnej wariancji (pierwszy wektor własny to kierunek, w którym dane najbardziej się różnią itp.); nazywa się to analizą głównych składników (PCA). Zastanawiałem się, co to znaczy spojrzeć na wektory własne / wartości matrycy wzajemnej informacji, czy wskazywałyby one w kierunku maksymalnej entropii?
1
Wykorzystanie wzajemnych informacji do oszacowania korelacji między zmienną ciągłą a zmienną kategorialną
Jeśli chodzi o tytuł, chodzi o wykorzystanie wzajemnej informacji, tu i po MI, do oszacowania „korelacji” (zdefiniowanej jako „ile wiem o A, gdy znam B”) między zmienną ciągłą a zmienną kategorialną. Za chwilę opowiem o moich przemyśleniach na ten temat, ale zanim doradzę, przeczytajcie inne pytanie / odpowiedź na CrossValidated, …
2
Wzajemne informacje jako prawdopodobieństwo
Czy wzajemna informacja nad wspólną entropią: 0 ≤ I( X, Y)H.( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 być zdefiniowane jako: „Prawdopodobieństwo przekazania informacji z X do Y”? Przepraszam, że jestem taki naiwny, ale nigdy nie studiowałem teorii informacji i staram się po prostu zrozumieć niektóre z nich.
1
Jakie są zalety i wady stosowania punktowej wzajemnej informacji na macierzy współbieżności słów przed SVD?
Jednym ze sposobów generowania zanurzeń słowo jest następująco ( lustro ): Zdobądź ciała, np. „Lubię latać. Lubię NLP. Lubię głębokie uczenie się”. Zbuduj z niego macierz współbieżności słów: Wykonaj SVD na XXX i zachowaj pierwsze kkk kolumn U. U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} Pomiędzy krokami 2 i 3 czasami stosowane są punktowe wzajemne informacje …
1
Dlaczego ludzie używają terminu „ciężar dowodów” i czym różni się od „punktowej wzajemnej informacji”?
W tym przypadku „ciężar dowodów” (WOE) jest powszechnym terminem w opublikowanej literaturze naukowej i politycznej, najczęściej postrzeganym w kontekście oceny ryzyka, definiowanym przez: w(e:h)=logp(e|h)p(e|h¯¯¯)w(e:h)=log⁡p(e|h)p(e|h¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} gdzie jest dowodem, h jest hipotezą.eeehhh Teraz chcę wiedzieć, jaka jest główna różnica w PMI (punktowe wzajemne informacje) pmi(e,h)=logp(e,h)p(e)∗p(h)pmi(e,h)=log⁡p(e,h)p(e)∗p(h)pmi(e,h)=\log\frac{p(e,h)}{p(e)*p(h)}
1
Dlaczego statystycy nie wykorzystują wzajemnych informacji jako miary powiązania?
Widziałem kilka rozmów niestatystów, w których wydaje się, że na nowo opracowują miary korelacji przy użyciu wzajemnej informacji zamiast regresji (lub równoważnych / ściśle powiązanych testów statystycznych). Rozumiem, że istnieje dobry powód, dla którego statystycy nie przyjmują takiego podejścia. Rozumiem przez laika, że ​​estymatory entropii / wzajemnej informacji bywają problematyczne …
1
Jak obliczyć wzajemne informacje?
Jestem trochę zmieszany. Czy ktoś może mi wyjaśnić, jak obliczyć wzajemne informacje między dwoma terminami w oparciu o matrycę termin-dokument z występowaniem terminów binarnych jako wag? Document1Document2Document3′Why′111′How′101′When′111′Wh e re′100′W.hy′′H.ow′′W.hmin′′W.hmirmi′reodoummint11111reodoummint2)1010reodoummint3)1110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.