Wenn die Auftrittswahrscheinlichkeit aller Zeichen einer Nachricht gleich groß ist, ist in der Shannon’schen Informationstheorie die Entropie dieser Nachricht maximal. Entropie ist ein Maß für das Chaos, Chaos ist Bedeutungslosigkeit – soll das also bedeuten dass eine Nachricht am wenigsten aussagt wenn alle Zeichen in ihr mit gleicher Wahrscheinlichkeit vorkommen?
Nein, sicher nicht. Sondern: Shannons Informationstheorie behandelt Information nur aus statistischer Sicht (lexikalische Ebene bzw. noch darunter). Ob eine Information sinnvolle Bedeutung übermittelt wird gar nicht berücksichtigt. Chaos darf also nicht als Bedeutungslosigkeit interpretiert werden sondern als »Inkompressibilität«: statistisches Chaos hat die Eigenschaft dass es auf statistischer Ebene keine größeren Strukturen als die einzelnen Zeichen enthält (es ist ein »Rauschen« einzelner Zeichen) und somit nicht kompakter beschrieben werden kann. Eine vollständige Beschreibung für statistisches Chaos ist nur dieses Chaos selbst – es gibt keine kompaktere Möglichkeit das Chaos zu übermitteln als das Chaos selbst. In diesem Sinn hat statistisches Chaos den höchsten statistischen) Informationsgehalt: der Informationsgehalt wächst (auf statistischer Ebene) mit der Entropie, während man auf der semantischen Ebene das Gegenteil erwartet.
Leave a Reply