Pytania otagowane jako information-theory

Gałąź matematyki / statystyki wykorzystywana do określania nośności informacji kanału, niezależnie od tego, czy jest on używany do komunikacji, czy taki, który jest zdefiniowany w sposób abstrakcyjny. Entropia jest jednym z mierników, za pomocą których teoretycy informacji mogą kwantyfikować niepewność związaną z przewidywaniem zmiennej losowej.

3
Definicja i pochodzenie „entropii krzyżowej”
Nie powołując się na źródła Wikipedia określa przekrój entropia dyskretnych rozkładów i Q sięPPPQQQ H×(P;Q)=−∑xp(x)logq(x).H×(P;Q)=−∑xp(x)log⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Kto pierwszy zaczął używać tej ilości? A kto wynalazł ten termin? Zajrzałem do: JE Shore i RW Johnson, „Aksjomatyczne wyprowadzenie zasady maksymalnej entropii i zasady minimalnej entropii …
4
Typowa koncepcja zestawu
Pomyślałem, że koncepcja typowego zestawu jest dość intuicyjna: sekwencja długości należałaby do typowego zestawu jeśli prawdopodobieństwo wystąpienia sekwencji byłoby wysokie. Tak więc każda sekwencja, która prawdopodobnie byłaby w . (Unikam formalnej definicji związanej z entropią, ponieważ staram się ją zrozumieć jakościowo.)A ( n ) ϵ A ( n ) ϵnnnA(n)ϵAϵ(n)A_\epsilon …
1
Jakościowo czym jest Cross Entropy
To pytanie podaje ilościową definicję entropii krzyżowej pod względem jej wzoru. Szukam bardziej hipotetycznej definicji, wikipedia mówi: W teorii informacji entropia krzyżowa między dwoma rozkładami prawdopodobieństwa mierzy średnią liczbę bitów potrzebną do zidentyfikowania zdarzenia z zestawu możliwości, jeśli stosuje się schemat kodowania oparty na danym rozkładzie prawdopodobieństwa q, a nie …
1
Jak interpretować entropię różnicową?
Niedawno przeczytałem ten artykuł na temat entropii dyskretnego rozkładu prawdopodobieństwa. Opisuje ładny sposób myślenia o entropii jako oczekiwanej liczbie bitów (przynajmniej przy użyciu w definicji entropii) potrzebnej do zakodowania wiadomości, gdy kodowanie jest optymalne, biorąc pod uwagę rozkład prawdopodobieństwa użytych słów.log2)log2\log_2 Jednak w przypadku ciągłego przypadku, takiego jak tutaj, uważam, …
3
Odnośniki uzasadniające użycie mieszanek gaussowskich
Modele mieszanin gaussowskich (GMM) są atrakcyjne, ponieważ są łatwe do pracy zarówno w analityce, jak i w praktyce, i są w stanie modelować niektóre egzotyczne rozkłady bez zbytniej złożoności. Istnieje kilka właściwości analitycznych, których należy się spodziewać, które nie są ogólnie jasne. W szczególności: SnSnS_nnnnPPPnnnPPPlimn→∞infP^∈SnD(P||P^)=0?limn→∞infP^∈SnD(P||P^)=0?\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0? Powiedzmy, że …
2
Wyniki szacunków Monte Carlo uzyskane na podstawie próbkowania istotności
Przez ostatni rok pracowałem nad dość istotnym pobieraniem próbek i mam kilka otwartych pytań, z którymi miałem nadzieję uzyskać pomoc. Moje praktyczne doświadczenie z ważnymi schematami pobierania próbek było takie, że czasami mogą one generować fantastyczne oszacowania niskiej wariancji i niskiego obciążenia. Częściej jednak mają tendencję do generowania szacunkowych błędów, …
1
Determinant informacji Fishera
(Podobne pytanie zadałem na stronie math.se. ) W geometrii informacji wyznacznikiem macierzy informacji Fishera jest naturalna postać objętości na rozmaitości statystycznej, więc ma dobrą interpretację geometryczną. Na przykład fakt, że pojawia się w definicji Jeffreys przed, jest związany z jej niezmiennością przy reparametryzacjach, która jest (imho) właściwością geometryczną. Ale co …
1
Wykorzystanie wzajemnych informacji do oszacowania korelacji między zmienną ciągłą a zmienną kategorialną
Jeśli chodzi o tytuł, chodzi o wykorzystanie wzajemnej informacji, tu i po MI, do oszacowania „korelacji” (zdefiniowanej jako „ile wiem o A, gdy znam B”) między zmienną ciągłą a zmienną kategorialną. Za chwilę opowiem o moich przemyśleniach na ten temat, ale zanim doradzę, przeczytajcie inne pytanie / odpowiedź na CrossValidated, …
1
Entropia różnicowa
Entropia różniczkowa RV Gaussa to . Zależy to od , który jest odchyleniem standardowym.σlog2)( σ2 πmi---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Jeśli znormalizujemy zmienną losową, aby miała wariancję jednostkową, jej entropia różnicowa spadnie. Dla mnie jest to sprzeczne z intuicją, ponieważ złożoność stałej normalizacyjnej Kołmogorowa powinna być bardzo mała w porównaniu ze zmniejszeniem …
2
Różne definicje AIC
Z Wikipedii istnieje definicja Kryterium Informacyjnego Akaike (AIC) jako , gdzie jest liczbą parametrów, a jest prawdopodobieństwem modelu.AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L Jednak nasze ekonometria zauważa na szanowanym uniwersytecie, że . Tutaj to oszacowana wariancja błędów w modelu ARMA, a to liczba obserwacji w zestawie danych …
1
Różnice między PROC Mixed i lme / lmer w R - stopnie swobody
Uwaga: to pytanie jest repost, ponieważ moje poprzednie pytanie musiało zostać usunięte ze względów prawnych. Porównując PROC MIXED z SAS z funkcją lmez nlmepakietu w R, natknąłem się na pewne dość mylące różnice. Mówiąc dokładniej, stopnie swobody w różnych testach różnią się między PROC MIXEDi lmezastanawiałem się, dlaczego. Zacznij od …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.