Docente:

José Manuel Torres

Disciplina:

Teoria da Informação

Curso - Ano:

Engenharia da Comunicação - 4º ano

Regime:

Semestral

Categoria:

Nuclear

Horário Semanal:

Quatro horas

Enquadramento e objectivos da disciplina:

O objectivo desta disciplina é essencialmente o fornecer aos alunos uma visão mais objectiva de temas como a medida de informação de uma fonte de informação e a transmissão de informação através de um canal de comunicação.

Assim a disciplina tem os seguintes objectivos fundamentais: a introdução das noções de entropia e de informação mútua, estudos de técnicas de codificação da fonte e do canal.

Sistema de avaliação:

Os conhecimentos do aluno serão certificados através da realização de um exame final marcado pelo departamento e abrangendo a totalidade do programa. Os alunos terão ainda a possibilidade de realizar um trabalho a ser entregue até ao dia do exame e que poderá ponderar com a nota final do exame. Cada trabalho prático terá uma valoração máxima de 5 valores.

Programa da Disciplina:

  1. Apresentação
    1. Objectivos
    2. Conteúdo programático
    3. Bibliografia
    4. Método de avaliação
  1. Introdução e perspectiva histórica
    1. A unidade de medida da informação
    2. Auto-informação
    3. Entropia
    4. Transmissão de informação em canais discretos com ruído
    5. Informação mútua e informação mútua média.
  2. Fontes discretas e canais discretos
    1. Codificação de uma fonte discreta sem memória
    2. Capacidade de canais discretos
    3. Desigualdade de Kraft
    4. Teorema da codificação de fonte
    5. Códigos unicamente decifráveis e com condição de prefixação
    6. Códigos de fonte: Shannon-Fano e Huffman (binário e não binário)
  3. Fontes contínuas e canais contínuos
    1. Entropia e informação mútua média
    2. Capacidade de canais contínuos
    3. Teorema de Shannon-Hartley e limite de Shannon
  4. Códigos de controlo de erros
    1. Correcção e detecção de erros
      1. Códigos ARQ
      2. Códigos FEC
      3. Distância de Hamming
    2. Códigos algébricos de blocos
      1. Representação matricial
      2. Códigos cíclicos
    3. Códigos convolucionais

Bibliografia Principal:

  1. Richard Blahut, "Principles and Pratice of Information Theory", Addison-Wesley, 1991
  2. A. Bruce Carlson, "Communication Systems", McGraw-Hill, 1986
  3. Thomas M. Cover and Joy A. Thomas, "Elements of Information Theory", John Wiley, 1991
  4. M. de Abreu Faro, "A peregrinação de um sinal", Gradiva, 1995
  5. Ajay Dholakaia, "Introduction to convolutional Codes with Applications", Kluwer Academic Publishers, 1994
  6. Edward A. Lee, "Digital Communications", Kluwer Academic Publishers, 1994

Distribuição dos Tempos Lectivos e da Bibliografia:

  1. Apresentação

    2. Horas previstas: 2

    Bibliografia: -

  2. Introdução e perspectiva histórica

    3. Horas previstas: 10

    Bibliografia: [1,2,3,4]

  3. Fontes discretas e canais discretos

    4. Horas previstas: 10

    Bibliografia: [1,2,3]

  4. Fontes contínuas e canais contínuos

    5. Horas previstas: 10

    Bibliografia: [1,2,3]

  5. Códigos de controlo de erros

Horas previstas: 16

Bibliografia: [2,5,6]

O tempo lectivo restante será dedicado à resolução de exercícios e realização de aulas de revisão.

Horário de Atendimento ao Aluno:

A definir

Resumo:

Introdução à teoria matemática de comunicação e perspectiva histórica; A unidade de medida da informação; Auto-informação; Entropia. Canais discretos com ruído. Informação mútua e informação mútua média. Capacidade de canais discretos. Teorema da codificação de fonte. Códigos unicamente decifráveis e com condição de prefixação. Códigos de fonte: Shannon-Fano e Huffman (binário e não binário). Fontes contínuas e canais contínuos: entropia e informação mútua média. Capacidade de canais contínuos. Teorema de Shannon-Hartley e limite de Shannon. Códigos correctores e detectores de erros: Códigos ARQ ("automatic repeat request"); os métodos "stop-and-wait", "go-back-N" e "selective-repeat". Códigos FEC ("forward error correction"): Códigos algébricos de blocos. Códigos cíclicos. Códigos convolucionais.

Abstract:

Introduction to a mathematical theory of communication and historical perspective; The unit of information measure; Auto-information; Entropy. Discrete channels with noise. Mutual information and average mutual information. Discrete channels capacity. Source Code Theorem. Uniquely decodeable codes. Source codes: Shannon-Fano and Huffman (binary and not binary). Continuous sources and continuous channels: entropy and average mutual information. Continuous channels capacity. Shannon-Hartley Theorem and Shannon limit. Error correct codes and error detect codes: ARQ codes ("automatic repeat request"); methods "stop-and-wait", "go-back-N" and "selective-repeat". FEC codes ("forward error correction"): Algebric block codes. Cyclic codes. Convolutional codes.