Pytania otagowane jako entropy

7
Czy można używać PRNG do magicznej kompresji?
Pomysł ten przyszedł mi do głowy jako dziecko uczące się programowania i przy pierwszym spotkaniu z PRNG. Nadal nie wiem, jak realistyczne jest, ale teraz jest wymiana stosów. Oto 14-letni schemat niesamowitego algorytmu kompresji: Weź PRNG i zaszczep go ziarnem, saby uzyskać długą sekwencję pseudolosowych bajtów. Aby przekazać tę sekwencję …
6
Czy algorytmy kompresji bezstratnej zmniejszają entropię?
Według Wikipedii : Entropia Shannona mierzy informacje zawarte w wiadomości, a nie część wiadomości, która jest określona (lub przewidywalna). Przykłady tych ostatnich obejmują nadmiarowość w strukturze języka lub właściwości statystyczne związane z częstotliwościami występowania par liter lub słów, trojaczków itp. Zatem entropia jest miarą ilości informacji zawartych w wiadomości. Kodery …
2
Symulowanie prawdopodobieństwa 1 z 2 ^ N przy mniej niż N losowych bitach
Powiedz, że muszę zasymulować następujący rozkład dyskretny: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Najbardziej oczywistym sposobem jest narysowanie losowych bitów i sprawdzenie, czy wszystkie są równe (lub ). Jednak teoria …
7
Czy istnieje związek między problemem zatrzymania a entropią termodynamiczną?
Alan Turing zaproponował model maszyny (Maszyna Turinga, TM), który oblicza (liczby, funkcje itp.) I udowodnił twierdzenie Haltinga . TM to abstrakcyjna koncepcja maszyny (lub silnika, jeśli chcesz). Twierdzenie Haltinga jest wynikiem niemożliwości. Silnik Carnota (CE) to abstrakcyjna koncepcja silnika cieplnego, a Carnot udowodnił twierdzenie Carnota , kolejny wynik niemożliwości związany …
11
Czy przypadkowość von Neumanna w cytacie z grzechu nie ma już zastosowania?
Jakiś facet powiedział: Każdy, kto próbuje generować losowe liczby za pomocą deterministycznych środków, oczywiście żyje w stanie grzechu. To zawsze oznacza, że ​​nie można wygenerować prawdziwych liczb losowych za pomocą samego komputera. Powiedział też, że gdy komputery były równoważnej wielkości pojedynczego mikroprocesora Intel 8080 (~ 6000 zaworów). Komputery stały się …
2
Co jest trudniejsze: tasowanie posortowanej talii lub sortowanie potasowanej talii?
Masz tablicę różnych elementów. Masz dostęp do komparatora (funkcja czarnej skrzynki, która bierze dwa elementy a i b i zwraca prawdziwy iff a &lt; b ) oraz naprawdę losowe źródło bitów (funkcja czarnej skrzynki nie przyjmuje argumentów i zwraca niezależnie jednakowo losowy bit). Rozważ następujące dwa zadania:nnnaaabbba&lt;ba&lt;ba < b Tablica …
3
Shannon Entropia 0,922, 3 odrębne wartości
Biorąc pod uwagę ciąg wartości , Shannon Entropy w bazie log wynosi . Z tego, co rozumiem, w bazie Entropia Shannona zaokrąglona w górę to minimalna liczba bitów w systemie binarnym, która reprezentuje jedną z wartości.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Zaczerpnięte ze wstępu na tej stronie Wikipedii: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 Jak więc trzy wartości mogą być …
1
Wnioskowanie o rodzajach uściślenia
W pracy miałem za zadanie wnioskować o pewnych typach informacji o dynamicznym języku. Przepisuję sekwencje instrukcji na letwyrażenia zagnieżdżone , tak jak poniżej: return x; Z =&gt; x var x; Z =&gt; let x = undefined in Z x = y; Z =&gt; let x = y in Z if …
11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 
2
Czy istnieje uogólnienie Kodowania Huffmana na kodowanie arytmetyczne?
Próbując zrozumieć związki między kodowaniem Huffmana, kodowaniem arytmetycznym i kodowaniem zakresu, zacząłem myśleć o niedociągnięciach kodowania Huffmana związanych z problemem częściowego upakowania bitów . To znaczy, załóżmy, że masz 240 możliwych wartości dla symbolu i potrzebujesz zakodować to w bitach, utkniesz z 8 bitami na symbol, nawet jeśli nie potrzebujesz …
1
Ograniczony problem optymalizacji w Entropii macierzy
Mam ograniczony problem optymalizacji w entropii macierzy (Shannona) (sum(entr(eig(A))))(sum(entr(eig(A))))\mathtt{(sum(entr(eig(A))))} . Macierz AAA można zapisać jako sumę macierzy rangi 1 w postaci gdzie jest danym znormalizowanym wektorem. Współczynniki macierzy pierwszego stopnia to niewiadome, w których optymalizujemy i muszą być większe od zera i sumować do 1.v i[vivTi][viviT][v_i\,v_i^T]viviv_i W składni podobnej do …
1
Jak praktycznie zmierzyć entropię pliku?
Próbuję teraz zmierzyć wiele niepotrzebnych (rzeczywistych) informacji, które zawiera mój plik. Niektórzy nazywają to wielkością entropii. Oczywiście istnieje standardowy p (x) log {p (x)}, ale myślę, że Shannon rozważał go tylko z punktu widzenia transmisji przez kanał. Dlatego formuła wymaga rozmiaru bloku (powiedzmy w bitach, zazwyczaj 8). W przypadku dużego …
9 entropy 
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.