Práctica 6: Teoría de la Información (Teoría de las Comunicaciones)

Archivo:Back.png Volver a la página de la materia

Ejercicio 24

Decidir si la siguiente frase es verdadera o falsa: “Dado un código unívocamente decodificable, se pueden obtener infinitos códigos unívocamente decodificables a partir de él”

Rta:
Verdadero. Si se tiene un codigo instantaneo cualquiera se sabe que va a estar libre de prefijos. Por lo tanto, si yo le agrego un mismo bit (ej 1) a todos los codigos tengo otro codigo instantaneo, por lo tanto univocamente decodificable.

Ejercicio 28

Se tiene una Fuente de información “S“ de memoria nula que produce n símbolos cada uno con probabilidad asociada Pi, la entropía de dicha fuente es:
$H(S)=\sum _{i=1}^{n}-Pi*log2(Pi)$

1. ¿ Qué define la entropía ?
2. ¿ Cuándo la entropía es máxima ?
3. Dé un ejemplo de una fuente de H máxima = 1 bits/símbolo.

Rta:

1. La entropia define el desorden, la "confusion" que se obtiene a partir de una fuente de informacion. Tambien se puede ver como lo "impredecible" que es.
2. La entropia es maxima cuando manejamos una fuente de informacion equiprobable. Esto se debe a que no podemos saber ni asumir nada de antemano sobre lo que vamos a obtener de la fuente.
3. Un ejemplo claro de equiprobabilidad y entropia maxima es el resultado de lanzar una moneda al aire, ya que sabemos que las prob. para cada cara es de 1/2.