Docente: José Manuel Castro Torres

Disciplina: Teoria da Informação

Curso - Ano: Engenharia da Comunicação - 4º ano

Regime: Semestral – S2

Categoria: Nuclear

Horário Semanal: 4 horas

Enquadramento e objectivos da disciplina:

O objectivo desta disciplina é essencialmente o fornecer aos alunos uma visão mais objectiva de temas como a medida de informação de uma fonte de informação e a transmissão de informação através de um canal de comunicação.

Assim a disciplina tem os seguintes objectivos fundamentais: a introdução das noções de entropia e de informação mútua, estudos de técnicas de codificação da fonte e do canal.

Sistema de avaliação:

Será adoptado o regime de avaliação contínua. Os conhecimentos do aluno serão certificados através da realização de um teste escrito cuja data será marcada pelo docente no início do semestre e abrangendo a totalidade do programa. Os alunos terão ainda a possibilidade de realizar um trabalho a ser entregue até ao último dia de aulas e que poderá ponderar com a nota do teste. Cada trabalho prático terá uma valoração máxima de 5 valores ficando nesse caso o exame cotado para 15 valores.

Programa da Disciplina:

1. Apresentação

1.1. Objectivos

1.2. Conteúdo programático

1.3. Bibliografia

1.4. Método de avaliação

2. Introdução e perspectiva histórica

2.1. A unidade de medida da informação

2.2. Auto-informação

2.3. Entropia

2.4. Transmissão de informação em canais discretos com ruído

2.5. Informação mútua e informação mútua média.

3. Fontes discretas e canais discretos

3.1. Codificação de uma fonte discreta sem memória

3.2. Capacidade de canais discretos

3.3. Desigualdade de Kraft

3.4. Teorema da codificação de fonte

3.5. Códigos unicamente decifráveis e com condição de prefixação

3.6. Códigos de fonte: Shannon-Fano e Huffman (binário e não binário)

4. Códigos de controlo de erros

4.1. Correcção e detecção de erros

4.1.1. Códigos ARQ

4.1.2. Códigos FEC

4.1.3. Distância de Hamming

4.2. Códigos algébricos de blocos

4.2.1. Representação matricial

4.2.2. Códigos cíclicos

4.3. Códigos convolucionais

Bibliografia Principal:

[1] Richard Blahut, “Principles and Pratice of Information Theory”, Addison-Wesley, 1991

[2] A. Bruce Carlson, "Communication Systems", McGraw-Hill, 1986

[3] Thomas M. Cover and Joy A. Thomas, “Elements of Information Theory”, John Wiley, 1991

[4] M. de Abreu Faro, “A peregrinação de um sinal”, Gradiva, 1995

[5] Ajay Dholakaia, “Introduction to convolutional Codes with Applications”, Kluwer Academic Publishers, 1994

[6] Edward A. Lee, “Digital Communications”, Kluwer Academic Publishers, 1994

Distribuição dos Tempos Lectivos e da Bibliografia:

1. Apresentação

Horas previstas: 2

Bibliografia: -

2. Introdução e perspectiva histórica

Horas previstas: 10

Bibliografia: [1,2,3,4]

3. Fontes discretas e canais discretos

Horas previstas: 20

Bibliografia: [1,2,3]

4. Códigos de controlo de erros

Horas previstas: 20

Bibliografia: [2,5,6]

O tempo lectivo restante será dedicado à resolução de exercícios e realização de aulas de revisão.

Horário de Atendimento ao Aluno:

A definir

Resumo:

Introdução à teoria matemática de comunicação e perspectiva histórica; A unidade de medida da informação; Auto-informação; Entropia. Canais discretos com ruído. Informação mútua e informação mútua média. Capacidade de canais discretos. Teorema da codificação de fonte. Códigos unicamente decifráveis e com condição de prefixação. Códigos de fonte: Shannon-Fano e Huffman (binário e não binário). Teorema de Shannon-Hartley e limite de Shannon. Códigos correctores e detectores de erros: Códigos ARQ ("automatic repeat request"); os métodos "stop-and-wait", "go-back-N" e "selective-repeat". Códigos FEC ("forward error correction"): Códigos algébricos de blocos. Códigos cíclicos. Códigos convolucionais.

Abstract:

Introduction to a mathematical theory of communication and historical perspective; The unit of information measure; Auto-information; Entropy. Discrete channels with noise. Mutual information and average mutual information. Discrete channels capacity. Source Code Theorem. Uniquely decodeable codes. Source codes: Shannon-Fano and Huffman (binary and not binary). Shannon-Hartley Theorem and Shannon limit. Error correct codes and error detect codes: ARQ codes ("automatic repeat request"); methods "stop-and-wait", "go-back-N" and "selective-repeat". FEC codes ("forward error correction"): Algebric block codes. Cyclic codes. Convolutional codes.