Práctica 6: Teoría de la Información (Teoría de las Comunicaciones)

Archivo:Back.png Volver a la página de la materia

Ejercicio 01

Para cada una de las siguientes cadenas de caracteres:

• i) AAAAAAAAAA ii) AAABBBCCCDDD iii) AAAAAA
• iv) AAAAAAAABB v) AAAAABBBCC vi) AAABBBCCDD
• vii) AAAAABBBBB viii) AAAAAAAABC

Calcular la frecuencia de cada símbolo, hacer su histograma y calcular su entropía. Ordenar las secuencias de menor a mayor entropía. ¿ Qué observa ?
Entropía :$H=\sum _{i=1}^{n}-P(Si)*log2(1/P(Si))$
La entropía indica la cantidad de información en promedio que una fuente emite medida en bits por símbolo: ¿ Está de acuerdo a la luz de los resultados obtenidos ? ¿ Qué es más compresible: una secuencia con baja o con alta entropía ? ¿ Por qué ? Sacar conclusiones.

Ejercicio 02

Sea una secuencia de números enteros grandes que cumplen la propiedad que dos números consecutivos están a lo sumo una distancia d uno del otro (d pequeño). Piense una forma de disminuir la cantidad de bits necesaria para representar la secuencia. Implemente para la secuencia: 81324, 81326, 81325, 81323, 81323, 81324 y saque conclusiones.

• ¿ Cómo reconstruiría la secuencia original ?
• ¿ Como es la entropía de la secuencia representada con respecto a la entropía de la secuencia original ? ¿ Por qué ?

Ejercicio 03

En una transmisión de fax se necesitan 2.25*10^6 elementos cuadrados de imagen para obtener la resolución adecuada (1500 * 1500 puntos). ¿ Cuál es el máximo contenido de información que puede llegar a trasmitirse si se necesitan 12 niveles de luminosidad para una buena reproducción ?

Ejercicio 24

Decidir si la siguiente frase es verdadera o falsa: “Dado un código unívocamente decodificable, se pueden obtener infinitos códigos unívocamente decodificables a partir de él”

Rta:
Verdadero. Si se tiene un codigo instantaneo cualquiera se sabe que va a estar libre de prefijos. Por lo tanto, si yo le agrego un mismo bit (ej 1) a todos los codigos tengo otro codigo instantaneo, por lo tanto univocamente decodificable.

Ejercicio 28

Se tiene una Fuente de información “S“ de memoria nula que produce n símbolos cada uno con probabilidad asociada Pi, la entropía de dicha fuente es:
$H(S)=\sum _{i=1}^{n}-Pi*log2(Pi)$

1. ¿ Qué define la entropía ?
2. ¿ Cuándo la entropía es máxima ?
3. Dé un ejemplo de una fuente de H máxima = 1 bits/símbolo.

Rta:

1. La entropia define el desorden, la "confusion" que se obtiene a partir de una fuente de informacion. Tambien se puede ver como lo "impredecible" que es.
2. La entropia es maxima cuando manejamos una fuente de informacion equiprobable. Esto se debe a que no podemos saber ni asumir nada de antemano sobre lo que vamos a obtener de la fuente.
3. Un ejemplo claro de equiprobabilidad y entropia maxima es el resultado de lanzar una moneda al aire, ya que sabemos que las prob. para cada cara es de 1/2.