Pytania otagowane jako entropy

Wielkość matematyczna przeznaczona do pomiaru wielkości losowości zmiennej losowej.

3
Definicja i pochodzenie „entropii krzyżowej”
Nie powołując się na źródła Wikipedia określa przekrój entropia dyskretnych rozkładów i Q sięPPPQQQ H×(P;Q)=−∑xp(x)logq(x).H×(P;Q)=−∑xp(x)log⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Kto pierwszy zaczął używać tej ilości? A kto wynalazł ten termin? Zajrzałem do: JE Shore i RW Johnson, „Aksjomatyczne wyprowadzenie zasady maksymalnej entropii i zasady minimalnej entropii …
4
Typowa koncepcja zestawu
Pomyślałem, że koncepcja typowego zestawu jest dość intuicyjna: sekwencja długości należałaby do typowego zestawu jeśli prawdopodobieństwo wystąpienia sekwencji byłoby wysokie. Tak więc każda sekwencja, która prawdopodobnie byłaby w . (Unikam formalnej definicji związanej z entropią, ponieważ staram się ją zrozumieć jakościowo.)A ( n ) ϵ A ( n ) ϵnnnA(n)ϵAϵ(n)A_\epsilon …
1
Jakościowo czym jest Cross Entropy
To pytanie podaje ilościową definicję entropii krzyżowej pod względem jej wzoru. Szukam bardziej hipotetycznej definicji, wikipedia mówi: W teorii informacji entropia krzyżowa między dwoma rozkładami prawdopodobieństwa mierzy średnią liczbę bitów potrzebną do zidentyfikowania zdarzenia z zestawu możliwości, jeśli stosuje się schemat kodowania oparty na danym rozkładzie prawdopodobieństwa q, a nie …
1
Jak interpretować entropię różnicową?
Niedawno przeczytałem ten artykuł na temat entropii dyskretnego rozkładu prawdopodobieństwa. Opisuje ładny sposób myślenia o entropii jako oczekiwanej liczbie bitów (przynajmniej przy użyciu w definicji entropii) potrzebnej do zakodowania wiadomości, gdy kodowanie jest optymalne, biorąc pod uwagę rozkład prawdopodobieństwa użytych słów.log2)log2\log_2 Jednak w przypadku ciągłego przypadku, takiego jak tutaj, uważam, …
1
Jakie jest znaczenie wektorów własnych wzajemnej matrycy informacji?
Patrząc na wektory własne macierzy kowariancji, otrzymujemy kierunki maksymalnej wariancji (pierwszy wektor własny to kierunek, w którym dane najbardziej się różnią itp.); nazywa się to analizą głównych składników (PCA). Zastanawiałem się, co to znaczy spojrzeć na wektory własne / wartości matrycy wzajemnej informacji, czy wskazywałyby one w kierunku maksymalnej entropii?
1
Jak entropia zależy od lokalizacji i skali?
Entropia ciągłego rozkładu z funkcją gęstości faff określa się jako ujemny z oczekiwaniem log( f) ,log⁡(f),\log(f), a zatem jest równa H.fa= - ∫∞- ∞log( f( x ) ) f( x ) d x .Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Także, że każdej zmiennej losowej XXX , której rozkład jest gęstości faff …
1
Wyprowadzanie negentropy. Utknąć
Pytanie to jest więc nieco związane, ale starałem się, aby było to jak najbardziej proste. Cel: Krótko mówiąc, istnieje pochodna negentropii, która nie obejmuje kumulantów wyższego rzędu, i próbuję zrozumieć, w jaki sposób została wyprowadzona. Tło: (Rozumiem to wszystko) Sam studiuję książkę „Independent Component Analysis” , którą znalazłem tutaj. (To …
1
Entropia różnicowa
Entropia różniczkowa RV Gaussa to . Zależy to od , który jest odchyleniem standardowym.σlog2)( σ2 πmi---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Jeśli znormalizujemy zmienną losową, aby miała wariancję jednostkową, jej entropia różnicowa spadnie. Dla mnie jest to sprzeczne z intuicją, ponieważ złożoność stałej normalizacyjnej Kołmogorowa powinna być bardzo mała w porównaniu ze zmniejszeniem …
5
Jak wykonać przypisanie wartości w bardzo dużej liczbie punktów danych?
Mam bardzo duży zestaw danych i brakuje około 5% wartości losowych. Te zmienne są ze sobą skorelowane. Poniższy przykładowy zestaw danych R jest tylko zabawkowym przykładem z fałszywymi skorelowanymi danymi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …
12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.