it.information-theory
Pregunta: Estoy buscando un límite en la entropía $ H (X + Y) $ de la suma de dos variables aleatorias discretas independientes $ X $ y $ Y $ . Naturalmente, $$ H (X + Y) \ leq H (X) + H (Y) ~~~~~~ (*) $$ Sin embargo, aplicado a la suma de $ …
it.information-theory – En la entropía de una suma Read More »
Pregunta: En "The Similarity Metric", Li, et al dan la primera definición de la distancia de información normalizada como $ \ Displaystyle d (x, y) = \ frac {\ max \ left \ {K (x | y ^ *), K (y | x ^ *) \ right \}} {\ max \ left \ {K ( …
Pregunta: Con respecto a la notación a continuación, la función $ \ ell (B) $ devuelve la longitud de la cadena de bits $ B $, y la cardinalidad del conjunto $ S $ se denota por $ | S | $. Una cadena de bits $ B $ se genera dibujando 0 y 1 …
Pregunta: ¿Son la entropía de Shannon y la entropía de Boltzmann mutuamente convertibles, al igual que la masa y la energía según la fórmula de Einstein? Respuesta: En la práctica, la única diferencia es que la entropía de Boltzmann trata con una constante termodinámica $ K_B $: $ H = -K_B \ sum_ {i = …
Pregunta: Esta pregunta se le hizo a Jeannette Wing después de su presentación PCAST sobre informática. "Desde la perspectiva de la física, ¿hay un volumen máximo de información que podemos tener?" (una buena pregunta de desafío para la comunidad teórica de la informática, ya que creo que plantea la pregunta "¿Qué es la información?") Más …
it.information-theory – ¿Cuál es el volumen de información? Read More »
Pregunta: Digamos que tengo una variable aleatoria de un bit $ X \ in \ {0,1 \} $, y sea $ n $ un número natural. Quiero una secuencia de variables aleatorias $ 0 = X_0, X_1, \ ldots, X_n = X $ st $$ H \ left (X ~ | ~ \ {X_0, \ …
it.information-theory – Filtrar información sin problemas a lo largo del tiempo Read More »
Pregunta: Estoy interesado en algunos algoritmos para crear códigos de prefijo: Codificación de Shannon : tomamos $ l_i = \ lceil – \ log p_i \ rceil $. Codificación Shannon-Fano : enumere las probabilidades en orden decreciente y luego divídalas por la mitad en cada paso para mantener equilibrada la probabilidad en cada lado. Luego, …
it.information-theory – Comparación de la codificación Shannon-Fano y Shannon Read More »
Pregunta: Digamos que tenemos una función $ f: \ mathbb {Z} _2 ^ n \ to \ mathbb {R} $ tal que $$ \ forall x \ in \ mathbb {Z} _2 ^ n \ quad f (x) \ in \ izquierda \ {\ frac {1} {2 ^ n}, \ frac {2} {2 ^ n}, …
it.information-theory – La entropía de una distribución ruidosa Read More »
Pregunta: En el problema de desarticulación de conjuntos de la complejidad de la comunicación entre dos partes, Alice y Bob reciben una cadena de $ n $ -bit como entrada; denotado por $ X $ para la entrada de Alice y $ Y $ para la entrada de Bob. Necesitan generar "no" si y solo …
it.information-theory – Complejidad de comunicación esperada frente al peor de los casos Read More »
Pregunta: Estoy pensando en algunas propiedades de la entropía empírica para cadenas binarias de longitud $ n $ cuando la siguiente pregunta se cruza en mi camino: $ \ underbrace {\ large \ frac {1} {2 ^ {n}} \ normalsize \ sum \ limits_ {w \ in \ left \ {0,1 \ right \} ^ …
it.information-theory – Entropía empírica esperada Read More »
