Práctica 6: Teoría de la Información (Teoría de las Comunicaciones)

Archivo:Back.png Volver a la página de la materia

Ejercicio 01

Para cada una de las siguientes cadenas de caracteres:

• i) AAAAAAAAAA ii) AAABBBCCCDDD iii) AAAAAA
• iv) AAAAAAAABB v) AAAAABBBCC vi) AAABBBCCDD
• vii) AAAAABBBBB viii) AAAAAAAABC

Calcular la frecuencia de cada símbolo, hacer su histograma y calcular su entropía. Ordenar las secuencias de menor a mayor entropía. ¿ Qué observa ?
Entropía :$H=\sum _{i=1}^{n}-P(Si)*log2(1/P(Si))$
La entropía indica la cantidad de información en promedio que una fuente emite medida en bits por símbolo: ¿ Está de acuerdo a la luz de los resultados obtenidos ? ¿ Qué es más compresible: una secuencia con baja o con alta entropía ? ¿ Por qué ? Sacar conclusiones.

Ejercicio 02

Sea una secuencia de números enteros grandes que cumplen la propiedad que dos números consecutivos están a lo sumo una distancia d uno del otro (d pequeño). Piense una forma de disminuir la cantidad de bits necesaria para representar la secuencia. Implemente para la secuencia: 81324, 81326, 81325, 81323, 81323, 81324 y saque conclusiones.

• ¿ Cómo reconstruiría la secuencia original ?
• ¿ Como es la entropía de la secuencia representada con respecto a la entropía de la secuencia original ? ¿ Por qué ?

Ejercicio 03

En una transmisión de fax se necesitan 2.25*10^6 elementos cuadrados de imagen para obtener la resolución adecuada (1500 * 1500 puntos). ¿ Cuál es el máximo contenido de información que puede llegar a trasmitirse si se necesitan 12 niveles de luminosidad para una buena reproducción ?

Ejercicio 22

Ejercicio 23

Ejercicio 24

Decidir si la siguiente frase es verdadera o falsa: “Dado un código unívocamente decodificable, se pueden obtener infinitos códigos unívocamente decodificables a partir de él”

'Rta:'
Verdadero. Si se tiene un codigo instantaneo cualquiera se sabe que va a estar libre de prefijos. Por lo tanto, si yo le agrego un mismo bit (ej 1) a todos los codigos tengo otro codigo instantaneo, por lo tanto univocamente decodificable.

Ejercicio 25

Ejercicio 26

Ejercicio 27

Ejercicio 28

Se tiene una Fuente de información “S“ de memoria nula que produce n símbolos cada uno con probabilidad asociada Pi, la entropía de dicha fuente es:
$H(S)=\sum _{i=1}^{n}-Pi*log2(Pi)$

1. ¿ Qué define la entropía ?
2. ¿ Cuándo la entropía es máxima ?
3. Dé un ejemplo de una fuente de H máxima = 1 bits/símbolo.

'Rta:'

1. La entropia define el desorden, la "confusion" que se obtiene a partir de una fuente de informacion. Tambien se puede ver como lo "impredecible" que es.
2. La entropia es maxima cuando manejamos una fuente de informacion equiprobable. Esto se debe a que no podemos saber ni asumir nada de antemano sobre lo que vamos a obtener de la fuente.
3. Un ejemplo claro de equiprobabilidad y entropia maxima es el resultado de lanzar una moneda al aire, ya que sabemos que las prob. para cada cara es de 1/2.