Informationstheorie

„Die (mathematisch-naturwissenschaftliche) Informationstheorie wurde 1948 von Shannon und Weaver aufgestellt. Sie bezeichnet den Versuch, ein mathematisches Modell für die verschiedenen Elemente eines Kommunikationsystems zu erstellen. Information wird hier als rein technisches Maß mit dem Bit als kleinste Einheit verstanden. Eine Informationstheorie im informationswissenschaftlichen Sinn wäre demgegenüber die Theorie vom Transfer von ‚Wissen‘.“ (1)

In diesem Zusammenhang ist der Kommunikationsprozess zwischen Sender und Empfänger sehr wichtig. Der Sender versendet über einen beliebigen Übertragungskanal (Internet, Fax,…) eine Nachricht an den Empfänger. Der Empfänger der Nachricht muss sie interpretieren und die Information für sich herausfiltern. Zwei Aspekte sind in diesem Zusammenhang von großer Tragweite:

  • Die Nachricht wird immer subjektiv vom Empfänger interpretiert. Deshalb verstehen mehrere Empfänger der gleichen Nachricht unterschiedliche Informationen.
  • Der Übertragungskanal vom Sender zum Empfänger kann gestört sein, so dass die Nachricht nicht richtig beim Empfänger ankommen kann. (2)

„Die Informationstheorie geht davon aus, dass eine Nachricht aus Zeichen besteht. Die möglichen Zeichen bezeichnet mal als Alphabet (Zeichenvorrat). Eine Nachricht wird somit aus einer endlichen Folge von Zeichen aus dem Zeichenvorrat gebildet. Für jedes Zeichen kann man die Häufigkeit – also die Anzahl in der Nachricht – bestimmen. Es ist sehr wahrscheinlich, dass unterschiedliche Zeichen unterschiedlich häufig in einer Nachricht auftreten. So kommt z.B. in deutschen Texten das Zeichen „e“ wesentlich häufiger vor, als z.B. das Zeichen „y“. In anderen Sprachen kann das anders sein. In der Informationstheorie geht man davon aus, dass ein selten auftretendes Zeichen mehr Information liefert als ein Zeichen, das häufig benutzt wird. Deshalb ist der Informationsgehalt des „y“ in einem deutschen Text wesentlich höher als der Informationsgehalt des „e“. Kennt man den Informationsgehalt für jedes Zeichen im Alphabet, dann kann man daraus einen mittleren Informationsgehalt der Nachricht ableiten. Diesen mittleren Informationsgehalt der Nachricht bezeichnet man als Entropie der Nachricht.“ (2)

Um die Entropie, also den Informationsgehalt einer Nachricht zu ermitteln werden die einzelnen Informationsgehalte der einzelnen Zeichen addiert. Beispiel (2):

Nummer Nachricht Entropie der Nachricht
1. To be or not to be! 2.9000516989995
2. Sein oder nicht sein! 3.4866245652238
3. Être ou ne pas être! 3.4841837197792
4. A aaab b cbde def! 2.9749375012019

Die Nachricht 1 bis 3 sind gleich, haben allerdings unterschiedlichen Informationsgehalt. Nachricht 4 ist zwar Sinnfrei, hat aber auch einen Informationsgehalt. Also kann man festhalten, dass die Entropie einer Nachricht keine Aussage über die Menge der Information treffen kann. Sie zeigt lediglich wie oft die einzelnen Zeichen in einer Nachricht auftreten. (2)

Quellen:

  1. Terminosaurus Rex – Die Informationswissenschaft in Begriffen, Fachrichtung 5.6 Informationswissenschaft Universitaet des Saarlandes [Stand 2007-1-11]
  2. Hauptmann, S. / Liebold, A. / Uhlig, M. / Duy, C. / Haas, S. / Stein, S.:  Ergebnis eines Workshops an der Hochschule für Technik und Wirtschaft Dresden (HTWD) im Fachbereich Informatik/Mathematik, Informationstheorie [Stand 2007-12-11]