top of page

Disciplina: Teoria da Informação

MATEMÁTICA APLICADA

   E/OU CIÊNCIA DA COMPUTAÇÃO

Veja a seguir os seguintes conteúdos já disponíveis. Para tomar conhecimento da lista completa dos conteúdos vistos nesta disciplina, clique no ícone "PROGRAMA" acima. OBSERVAÇÃO: Alguns dos assuntos estão divididos em partes as quais podem ser acessadas clicando nos links abaixo.

 

 

 

 

Teoria da Informação

Origem: Wikipédia

 

A Teoria da informação ou Teoria Matemática da Comunicação é um ramo da Teoria da Probabilidade e da Matemática Estatística que lida com Sistemas de Comunicação, Transmissão de DadosCriptografiaCodificação, Teoria do Ruído, Correção de Erros, Compressão de Dados, etc. Ela não deve ser confundida com Tecnologia da Informação e Biblioteconomia.

 

Claude Shannon (1916-2001) é conhecido como "o pai da teoria da informação". Sua teoria foi a primeira a considerar comunicação como um problema matemático rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de ocorrência de bits. A teoria não se preocupa com a semântica dos dados, mas pode envolver aspectos relacionados com a perda de informação na compressão e na transmissão de mensagens com ruído no canal.

 

É geralmente aceito que a moderna disciplina da teoria da informação começou com duas publicações: a do artigo científico de Shannon intitulado Teoria Matemática da Comunicação ("A Mathematical Theory of Communication") ".PDF", no Bell System Technical Journal, em julho e outubro de 1948; e do livro de Shannon em co-autoria com o também engenheiro estadunidense Warren Weaver (1894-1978), intitulado Teoria Matemática da Comunicação (The Mathematical Theory of Communication), e contendo reimpressões do artigo científico anterior de forma acessível também a não-especialistas - isto popularizou os conceitos

 

Índice

  • 1 Contexto histórico

  • 2 Entropia da informação

  • 3 Ver também

  • 4 Ligações externas

 

Contexto histórico

 

O marco que estabeleceu a teoria da informação e chamou imediatamente a atenção mundial foi o artigo A Mathematical Theory of Communication escrito por Claude Shannon de julho a outubro de 1948.

 

Antes deste artigo, algumas abordagens teóricas ainda que limitadas vinham sendo desenvolvidas nos laboratórios da Bell, todas implicitamente assumindo eventos de igual probabilidade. O artigo Certain Factors Affecting Telegraph Speed de Harry Nyquist escrito em 1924 contém uma seção teórica que quantifica inteligência e a velocidade de transmissão pela qual ela pode ser transmitida por um sistema de comunicação, estabelecendo a relação                         , onde         é a velocidade de transmissão da inteligência,     é o número de níveis de tensão para cada intervalo de tempo, e  é uma constante. Em 1928, Ralph Hartley publicou o artigo Transmission of Information, onde aparece a palavra informação como uma quantidade mensurável que a capacidade do destinatário distinguir diferentes sequências de símbolos, levando à expressão                                                  representam, respectivamente, o número de símbolos possíveis e o número de símbolos na transmissão. Inicialmente, a unidade natural da transmissão foi definida como sendo o dígito decimal, sendo, posteriormente, renomeada para hartley em uma clara homenagem. Alan Turing em 1940, durante a 2ª Guerra Mundial, aplicou ideias similares como parte da análise estatística para decifrar a criptografia da máquina alemã Enigma.

 

Boa parte da matemática por trás da teoria da informação com eventos de diferentes probabilidades foi desenvolvida para os campos da termodinâmica por Ludwig Boltzmann e J. Willard Gibbs. As conexões entre as entropias da informação e termodinâmica, incluindo as importantes contribuições de Rolf Landauer na década de 1960, são exploradas naEntropia termodinâmica e teoria da informação.

 

No artigo seminal de Shannon, introduz-se pela primeira vez um modelo quantitativo e qualitativo da comunicação, apresentando-a como um processo estatístico subjacente à teoria da informação. Shannon inicia seu artigo dizendo "O problema fundamental da comunicação é reproduzir em um dado ponto, exata ou aproximadamente, uma mensagem produzida em outro ponto."

 

Com este artigo vieram à tona os conceitos

  • de entropia da informação e redundância de uma fonte, e sua aplicação no teorema de codificação da fonte;

  • de informação mútua e capacidade de um canal com ruído, incluindo a promessa de comunicação sem perdas estabelecida no teorema de codificação de canais-ruidosos;

  • da lei de Shannon-Hartley para a capacidade de um canal Gaussiano;

  • do bit - uma nova forma de enxergar a unidade fundamental da informação.

Entropia da informação

No processo de desenvolvimento de uma teoria da comunicação que pudesse ser aplicada por engenheiros eletricistas para projetar sistemas de telecomunicação melhores,Shannon definiu uma medida chamada de entropia, definida como:

 

 

 

onde       é o logaritmo na base 2, que determina o grau de caoticidade da distribuição de probabilidade  e      pode ser usada para determinar a capacidade do canal necessária para transmitir a informação.

 

A medida de entropia de Shannon passou a ser considerada como uma medida da informação contida numa mensagem, em oposição à parte da mensagem que é estritamente determinada (portanto prevísivel) por estruturas inerentes, como por exemplo a redundância da estrutura das linguagens ou das propriedades estatísticas de uma linguagem, relacionadas às frequências de ocorrência de diferentes letras (monemas) ou de pares, trios, (fonemas) etc., de palavras. Veja cadeia de Markov.

 

A entropia como definida por Shannon está intimamente relacionada à entropia definida por físicos. Boltzmann e Gibbs fizeram um trabalho considerável sobre termodinâmica estatística. Este trabalho foi a inspiração para se adotar o termo entropia em teoria da informação. Há uma profunda relação entre entropia nos sentidos termodinâmico e informacional. Por exemplo, o demônio de Maxwell necessita de informações para reverter a entropia termodinâmica e a obtenção dessas informações equilibra exatamente o ganho termodinâmico que o demônio alcançaria de outro modo.

 

Outras medidas de informação úteis incluem informação mútua, que é uma medida da correlação entre dois conjuntos de eventos. Informação mútua é definida para duas variáveis aleatórias X e Y como:

Informação mútua está relacionada de forma muito próxima com testes estatísticos como o teste de razão logarítmica e o teste Chi-square.

 

A teoria da informação de Shannon é apropriada para medir incerteza sobre um espaço desordenado. Uma medida alternativa de informação foi criada por Fisher para medir incerteza sobre um espaço ordenado. Por exemplo, a informação de Shannon é usada sobre um espaço de letras do alfabeto, já que letras não tem 'distâncias' entre elas. Para informação sobre valores de parâmetros contínuos, como as alturas de pessoas, a informação de Fisher é usada, já que tamanhos estimados tem uma distância bem definida.

 

Diferenças na informação de Shannon correspondem a um caso especial da distância de Kullback-Leibler da estatística Bayesiana, uma medida de distância entre distribuições de probabilidade a priori e a posteriori.

 

Andrei Nikolaevich Kolmogorov introduziu uma medida de informação que é baseada no menor algoritmo que pode computá-la (veja complexidade de Kolmogorov).

Veja a página em Slide

Leitura Complementar: Páginas em Slide!

 

1) MATEMÁTICA APLICADA

E/OU CIÊNCIA DA COMPUTAÇÃO

    Teoria da Informação:

           Introdução

   2) MATEMÁTICA APLICADA

E/OU CIÊNCIA DA COMPUTAÇÃO

       Teoria da Informação:

  INTRODUÇÃO À MULTIMÍDEA

Compressão de Dados - Parte 01

Veja a página em Slide

Veja a página em Slide

   3) MATEMÁTICA APLICADA

E/OU CIÊNCIA DA COMPUTAÇÃO

       Teoria da Informação:

   4) MATEMÁTICA APLICADA

E/OU CIÊNCIA DA COMPUTAÇÃO  

Introdução à Teoria daInformação                        e

               Entropias

Veja a página em Slide

Leitura Complementar: Artigos ou outros...

 

01) TEORIA MATEMÁTICA DA COMUNICAÇÃO DE SHANNON - Arquivo no Formato ".PDF"

02) A Mathematical Theory of Communication - By Claude Shannon - Arquivo no Formato ".PDF"

03) A Teoria da Informação de Shannon - Arquivo no Formato ".PDF"

04) Apontamentos de Teoria da Informação - Arquivo no Formato ".PDF"

05) Semantic Conceptions of Information - Arquivo no Formato ".PDF"

06) SIGNIFICADO CONTEMPORÂNEO DA TEORIA MATEMÁTICA DA COMUNICAÇÃO - Arquivo no Formato ".PDF"

07) SISTEMAS DE INFORMAÇÃO: NOVA ABORDAGEM TEÓRICO-CONCEITUAL - Arquivo no Formato ".PDF"

08) Exercícios sobre Teoria da Informação – 5ª ficha de exercícios - Arquivo no Formato ".PDF"

09) "HA YEK E A TEORIA DA INFORMAÇÃO: UMA ANÁLISE EPISTEMOLÓGICA": FRANCISCO CARLOS RIBEIRO 

     (LIVRO - Páginas no Total = 130) - Arquivo no Formato ".PDF" - Tamanho do Arquivo = 4,17MB.

10) "Elementos de Teoria e Pesquisa da Comunicação e dos Media": Jorge Pedro Sousa, 2a edição revista e ampliada, 206 

     (LIVRO - Páginas no Total = 823) - Arquivo no Formato ".PDF" - Tamanho do Arquivo = 5,26MB.

11) Teoria da Informação Codificação de Fonte - Arquivo no Formato ".PDF"

12) Teoria da Informação, Segredo Perfeito e Entropia - Arquivo no Formato ".PDF"

13) A ENTROPIA SEGUNDO CLAUDE SHANNON: O ENVOLVIMENTO DO CONCEITO FUNDAMENTAL DA TEORIA DA INFORMAÇÃO 

     - Arquivo no Formato ".PDF"

14) SIGNO, SINAL, INFORMAÇÃO: As Relações de Construção e Transferência de Significados - Arquivo no Formato ".PDF"

15) Elementos de Teoria da Informação - Arquivo no Formato ".PDF"

16) Fundamentos da Teoria de Informação - Arquivo no Formato ".PDF"

 

 

 

 

Texto da Ensino&Informação:

Teoria da Informação: Se sabemos a prior que um Evento A tem uma Probabilidade P[A] significativamente grande (valor próximo de UM=1) de ocorrência (quase o Evento Certo!)  e se nos chega a Informação de que este Evento A ocorreu, então obviamente esta informação não nos está dizendo "nenhuma novidade", ou seja, a Quantidade de informação Q(A) de que ocorreu o Evento A é Muitíssima Pequena. Por outro lado, se soubermos a prior de que a Probabilidade de que um Evento B venha ocorrer é muito pequena (valor próximo de Zero-0) e se concomitantemente, através de um Canal nos chega (para nós o Receptor) a Informação de que este Evento verdadeiramente (cuidar com a Semântica: o que é verdadeiramente e como quantificar, sabendo nós de um possível Ruído através do Canal) ocorreu, então a Quantidade de informação Q(A) de que ocorreu o Evento B é Significativamente Grande - há de se mensurar isto! Assim, a proposta para o Modelo para Medir esta Quantidade de Informação é imposto pela Expressão: Q(A) = 1/P[A]. Ou quem sabe seria melhor Q(A)=1/log(P[a])????? Uma validação de um deste ou de outro MODELO TEÓRICO é que nos diria qual o mais adequado, coerente e consistente para REPRODUZIR A REALIDADE! Na verdade, a Relações entre h, p ∗ h e H em função das probabilidades p de um evento binário. A entropia do evento (h) é dada por log(1/p); a entropia do evento ponderada pela sua probabilidade (p ∗ h) é dada por p ∗ log(1/p); a entropia da distribuição de probabilidades (H) é dada pela soma das entropias dos eventos ponderada pelas suas probabilidades.

Teoria da Informação - Um pouco mais da Sua História:

Durante a Segunda Guerra Mundial, na década de 40, com os procedimentos de codificação e decodificação das msgs trocadas entre os aliados ou seus inimigos, a INFORMAÇÃO ganhou estatus de símbolo calculável. Matemáticos e engenheiros passaram a qualificar e otimizar o custo de uma mensagem transmitida entre dois pontos, especialmente via telefone ou telégrafo.

 

Também conhecida como Teoria Matemática da Comunicação, a Teoria da Informação tem como base a quantidade (teor ou taxa) de informação existente em um processo comunicacional. Os pesquisadores dessa área, ligados aos setores de telecomunicações, procuram eliminar os eventuais problemas de transmissão (ruídos) em canais físicos, por meio da seleção, escolha e discriminação de signos para conseguir veicular mensagens de forma econômica e precisa.

 

Como não há processo de comunicação isento de erro ou distúrbio (ruído) a Teoria da Informação busca aumentar o rendimento informativo das mensagens, seja pelo recurso da redundância, seja pela escolha de um código (sistema de símbolos que, por convenção prévia, representa e transmite a mensagem da fonte ao destinatário) mais eficiente.

 

Parece haver três níveis de problemas em comunicação:

  • Problemas técnicos - referem-se à precisão na transferência de informações do emissor para o receptor.

  • Problemas semânticos - referem-se à interpretação do significado pelo receptor, comparada ao significado pretendido pelo emissor.

  • Problemas de influência ou eficácia - referem-se ao êxito de, através do significado transmitido ao receptor, provocar a conduta desejada de sua parte.

 

Shannon demonstrou que letras e palavras, escolhidas ao acaso, postas em seqüência e ditadas exclusivamente por considerações de probabilidade (depois das palavras "no caso", a probabilidade da próxima ser "de" é muito grande), tendem a formar palavras e frases significativas. Assim, a informação deve ser medida pela entropia. Se uma situação é altamente organizada, a informação, ou a entropia, é baixa.

 

A teoria matemática da comunicação está preocupada, não com o significado de mensagens individuais, mas com a natureza estatística da fonte de informação. No processo de transmissão do sinal, é infelizmente característico que certas coisas não pretendidas pela fonte de informação sejam acrescidas. Essas alterações no sinal podem ser chamadas de ruído. A incerteza que decorre da liberdade de escolha da parte do emissor é uma incerteza desejável. A incerteza que decorre de erros ou da influência de ruído é uma incerteza indesejável. Para obtermos a informação útil do sinal recebido, precisamos subtrair a porção espúria.

  • Shannon demonstrou que cada canal tem uma capacidade e uma quantidade limite de informações transmitidas. A partir de um certo ponto, a mensagem começa a ser dominada pelos ruídos que prejudicam a recepção.

 

É interessante observar que enquanto a informação significa variedade, novidade, a redundância significa falta de variedade ou simplesmente repetição. A redundância da língua inglesa é de cerca de 50 por cento. Em outras palavras, cerca da metade das letras ou palavras que escolhemos, ao escrever ou falar, é de nossa livre escolha e cerca de metade é realmente controlada pela estrutura estatística da língua. Com isso, é possível economizar tempo de telégrafo, embora manter a redundância pode ser vantajoso pois ajuda a combater o ruído.

 

Observação: devemos levar em consideração não só a capacidade do canal, como também a capacidade da audiência para não sobrecarregá-la.

 

Em 1940, Shannon trabalhava para a Bell Telephone, publicou um artigo sobre a teoria, que recebeu acréscimos teóricos feitos por Weaver, pesquisador das grandes máquinas de calcular, antes da criação do computador. Ambos eram engenheiros.

Shannon e Weaver desenvolveram um modelo linear para o sistema geral da comunicação. Verificaram o processo de comunicação entre dois telefones:

Fonte (de informação) – (emitente humano) selecionava, em um conjunto de mensagens possíveis, dada mensagem, 

Mensagem 

Codificador (ou emissor), que transforma a mensagem em sinais 

Canal (meio utilizado para a transmissão)

Decodificador (ou receptor), que reconstrói a mensagem a partir dos sinais

Destinação – para quem a mensagem é transmitida

 

O objetivo era otimizar o custo de uma mensagem transmitida entre dois pontos, em presença de perturbação aleatória (denominada Ruído), que impede o isomorfismo (que a mensagem inicial chegue de maneira idêntica a seu destino), a plena correspondência entre os dois pólos.

 

Os pesquisadores pretendiam encontrar a melhor maneira de transmitir as msgs a um custo mais baixo.

 

A proposição desse modelo teórico tinha por objetivo responder a três questões, que são interdependentes.

1 – Qual a acuidade de uma transmissão de sinais?

2 – Qual o grau de nitidez com que os sinais transmitidos veiculam os significados desejados?

3 – Qual a eficiência/eficácia dos significados captados/assimilados no comportamento do receptor? E no que diz respeito à finalidade desejada e prevista pelo emissor/fonte de informação?

 

O modelo buscava a solução de ordem técnica, até porque para engenheiros de telecomunicações pode ser irrelevante o conteúdo de uma mensagem. O que a eles pode interessar diz respeito ao tempo em que uma linha permanece ocupada, podem querer saber qual a distância entre o início e o fim do processo de transferência; ou, ainda, determinar o grau de nitidez dos sinais vocais ao telefone, etc. Seu interesse concentrava-se nas características morfológicas do sinal/mensagem e na nitidez com que ocorra sua transmissão.

 

Como, portanto, transmitir o máximo de teor informativo pela utilização competente de um canal, combatendo-se o ruído (sinais parasitários que prejudicam a captação e o entendimento de uma mensagem???)

 

Como avaliar a capacidade de um canal em veicular informação?

 

Como fazer para que a informação, proveniente de uma fonte, atinja um destinatário, produzindo efeitos por ela previsto e intentados/

 

Como conciliar baixo custo e lato rendimento em matéria informacional?

Shannon e Weaver pressupõem que haja sentido (informação orientada) em uma mensagem. Bastará que se aperfeiçoe a codificação para que aumente a propriedade semântica da mensagem e, assim, possam ser adequadamente respondidas as perguntas 2 e 3, que fizemos antes.

 

Em sua concepção original, esse modelo se destinada à estimativa da quantidade da informação transmitida, tomando-se por referência a improbabilidade estatística de aparecimento de certas mensagens sem levar em conta os seus sentidos.

  A partir de 22 Set de 2020

Você é o Visitante de Número

bottom of page