Im ersten Teil der mathematischen Theorie, der „Informationstheorie“ geht es um Beobachtungen und Beschreibungen über das Auftreten von Buchstabenfolgen in einer Sprache. Buchstaben treten in einer Sprache in unterschiedlichen Häufungen und Zusammensetzungen auf.
Das mathematische Maß
Ein Mehr oder weniger an möglichen physischen Ereignissen, für die eine angepasste Kapazität erforderlich ist.
Ein Beispiel aus dem Deutschen: Der Buchstabe E tritt häufig auf, der Buchstabe Y seltener. Die Buchstabenfolge E-N kommt sehr häufig vor, Q-Q tritt dagegen so gut wie nicht auf, es sei denn in Fehlern oder Namen. Dies lässt sich als Auftretenswahrscheinlichkeit berechnen. Ein E tritt häufig auf; und wenn ein E auftritt, ist es sehr wahrscheinlich, dass ein N folgen wird. Ein Q tritt selten auf; und wenn ein Q auftritt, ist es sehr unwahrscheinlich, dass als nächster Buchstabe ein weiteres Q folgen wird.
Das Maß in der Kommunikation
Situative Bewertung anhand von Bedeutung, Wichtigkeit, Neuigkeit, oder als Mittel zur Problemlösung.
In der Kommunikation ist Information grundsätzlich mit Bedeutung und Geltung verbunden (Peter Janich, Was ist Information?, Frankfurt am Main 2006, S. 19). Das Maß wird darüber hinaus durch die Situation bestimmt. Das Maß wird dadurch bestimmt, welche Problemlösungen in einer bestimmten Situation möglich werden, und wie detailliert die Bedeutungen sind, die mit ihr entstehen.
Informationsgehalt
Wenn Information im kommunikativen Handeln mit Bedeutung verbunden wird, ist das Verhältnis von Text und „Informationsgehalt“ genau andersherum als in der mathematischen Theorie.
Ein Beispiel für die Anwendung des Informationsbegriffs in den verschiedenen Bereichen. Beides sind Auswahlen von Buchstaben aus einem festgelegten Set, dem Alphabet, wobei mehrere Auswahlen desselben Buchstabens und die Auswahl von Blöcken (EN, DE, EI, ES, GL) erlaubt sind:
In der Kommunikation ist die erste „Auswahl“ mit Information verbunden, weil sie für uns Bedeutung in dieser Lese-Situation hat. Die zweite Auswahl ist mit keiner Information verbunden.
In der mathematischen Theorie ist die zweite Auswahl mit mehr Information als die erste verbunden, weil sie unwahrscheinlichere Buchstabenfolgen enthält. (Die Maschine muss auch Blöcke wie XU, DG, TN zulassen.)