Что такое информационная энтропия. И для чего ее ввели в теорию информации?

Например, из русского (и не только) текста можно выкинуть все гласные буквы, но при этом содержащаяся в нем информация -- "понятность" для получателя текста -- пострадает лишь частично. Действительно, в "мх сдт н птлк" смутно угадывается "муха сидит на потолке". Если же убрать согласные, оставив гласные, то дело плохо -- гласных в нашем алфавите гораздо меньше согласных. Другими словами, появление гласной буквы в тексте сравнительно не сильно уменьшает неопределенность относительно сообщения. Численно энтропию в данном случае можно определить как общее кол-во информации в исходном тексте (т. е. в настоящем тексте, из которого ничего не выкидывали) , которая приходится на один символ/группу символов.

Здесь при желании можно проследить связь со старой доброй энтропией из стат. механики (логарифм статистического веса макросостояния) . Но это уже давайте сами разбирайтесь)

Не хаос, а мера хаоса

информация имеет свойство расширяться, т. е. увеличиваться. и вот ее стало так много что требуется целая неделя для того, чтобы найти нужную. И вот мы из первого слоя информации выбираем нужную (второй слой) , накапливаем и ее становится так много, что требуется целая неделя для поиска необходимой информации. И так без конца. мы упорядочиваем, а она нагромождается и мы этим не довольны.

Определение энтропии по Шеннону сами найдите в Википедии, OK?
Ввели примерно вот для чего. Мера хаоса - это да, но это еще и способ измерять кол-во информации.

Например, если у меня есть бит, который в 70 процентов случаев единичка и в 30 ноль, то сколько это в среднем информации в реале? Если я зипом (а он оптимален для таких задач, т. к. использует кодирование Хаффмана) пожму миллион таких независимых бит, то сколько в среднем вожно выиграть по размеру?

Вообще тут еще теория вероятностей (даже статистика) пересекается с теорией информации. Например, в статистике можно условно сказать, что чем меньше Вы знаете о характере распределения случайной величины, тем выше у распределения предполагается энтропия. Если знаете, что случайная величина всегда принимает фиксированное значение, то вы знаете про нее всё, а энтропия будет ноль. Если Вы вообще ничего не знаете, то выбираете единственное распределение с максимальной энтропией на соответствующем множестве при соответсвующих ограничениях. Нормальное на прямой, равномерное на отрезке, пуассоновское на множестве натуральных чисел, экпоненциальное на луче и тп.

Наверное, для того чтобы понимать, что информация, как и энергия, подчиняется своим законам. Энтропия - это, вообще-то, хаос. Разрушение созданных систем...