Pytania otagowane jako information-theory

Gałąź matematyki / statystyki wykorzystywana do określania nośności informacji kanału, niezależnie od tego, czy jest on używany do komunikacji, czy taki, który jest zdefiniowany w sposób abstrakcyjny. Entropia jest jednym z mierników, za pomocą których teoretycy informacji mogą kwantyfikować niepewność związaną z przewidywaniem zmiennej losowej.

2
Wzajemne informacje jako prawdopodobieństwo
Czy wzajemna informacja nad wspólną entropią: 0 ≤ I( X, Y)H.( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 być zdefiniowane jako: „Prawdopodobieństwo przekazania informacji z X do Y”? Przepraszam, że jestem taki naiwny, ale nigdy nie studiowałem teorii informacji i staram się po prostu zrozumieć niektóre z nich.
2
Korelacja między dwiema taliami kart?
Napisałem program do symulacji występowi karty Losowo. Każda karta jest ponumerowana, kolor odpowiada, od CLUBS, DIAMONDS, HEARTS, SPADESrangi od dwóch do dziesięciu, a następnie Jacka, Królowej, Króla i Asa. Zatem Two of Clubs ma liczbę 1, Three of Clubs 2 ... As trefl wynosi 13 ... As pik wynosi 52. …
2
Jakie są dobre wskaźniki do oceny jakości dopasowania PCA, aby wybrać liczbę komponentów?
Co jest dobrym miernikiem do oceny jakości analizy głównych składników (PCA)? Wykonałem ten algorytm na zbiorze danych. Moim celem było ograniczenie liczby funkcji (informacje były bardzo zbędne). Wiem, że odsetek zachowanych odchyleń jest dobrym wskaźnikiem tego, ile informacji przechowujemy. Czy istnieją inne wskaźniki informacyjne, których mogę użyć, aby upewnić się, …
1
Jak obliczyć wzajemne informacje?
Jestem trochę zmieszany. Czy ktoś może mi wyjaśnić, jak obliczyć wzajemne informacje między dwoma terminami w oparciu o matrycę termin-dokument z występowaniem terminów binarnych jako wag? Document1Document2Document3′Why′111′How′101′When′111′Wh e re′100′W.hy′′H.ow′′W.hmin′′W.hmirmi′reodoummint11111reodoummint2)1010reodoummint3)1110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 …
2
Testowanie hipotez i całkowity dystans wariancji vs. dywergencja Kullbacka-Leiblera
W moich badaniach natrafiłem na następujący ogólny problem: mam dwie rozkłady i w tej samej domenie i dużą (ale skończoną) liczbę próbek z tych rozkładów. Próbki są niezależnie i identycznie rozmieszczone z jednego z tych dwóch rozkładów (chociaż rozkłady mogą być powiązane: na przykład Q może być mieszaniną P i …
3
Hiperplany optymalnie klasyfikują dane, gdy dane wejściowe są warunkowo niezależne - dlaczego?
W artykule zatytułowanym Głębokie uczenie się i zasada wąskiego gardła informacji autorzy stwierdzają w sekcji II A), co następuje: Pojedyncze neurony klasyfikują tylko liniowo separowalne dane wejściowe, ponieważ mogą implementować tylko hiperpłaszczyzny w swojej przestrzeni wejściowej u=wh+bu=wh+bu = wh+b. Hiperplany mogą optymalnie klasyfikować dane, gdy dane wejściowe są warunkowo niezależne. …
2
Liczba pojemników podczas obliczania wzajemnych informacji
Chcę kwantyfikować związek między dwiema zmiennymi, A i B, wykorzystując wzajemne informacje. Można to obliczyć, dzieląc obserwacje (patrz przykładowy kod Python poniżej). Jednak jakie czynniki determinują, jaka liczba pojemników jest rozsądna? Potrzebuję szybkiego obliczenia, więc nie mogę po prostu użyć wielu pojemników, aby zachować bezpieczeństwo. from sklearn.metrics import mutual_info_score def …
1
Czy sieci neuronowe używają wydajnego kodowania?
Moje pytanie dotyczy związku między hipotezą efektywnego kodowania, która została opisana na stronie Wikipedii dotyczącej wydajnego kodowania i algorytmów uczenia sieci neuronowej. Jaki jest związek między efektywną hipotezą kodowania a sieciami neuronowymi? Czy są jakieś modele sieci neuronowych wyraźnie zainspirowane hipotezą wydajnego kodowania? Czy może bardziej sprawiedliwym byłoby stwierdzenie, że …
1
Zastosowanie teorii informacji w informatyce stosowanej
Dzisiaj natknąłem się na książkę „Teoria informacji: wprowadzenie do samouczka” Jamesa Stone'a i przez chwilę zastanawiałem się nad zakresem zastosowania teorii informacji w nauce o danych stosowanych (jeśli nie czujesz się komfortowo z tym wciąż nieco rozmytym terminem, pomyśl o analizie danych , której nauka IMHO jest uwielbioną wersją). Jestem …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.