Почему В формуле Шеннона используется логарифм?

Чувак, в Вике в статье про информационную энтропию и шенноновскую информацию есть док-во того факта, что при аксиоматическом определении энтропии в ее формуле обязательно лезет логарифм.

Но идея-то на поверхности лежит.
У тебя вероятности независимых событий перемножаюся, когда считаешь вероятность их пересечения.
И при вычислении совместной плотности независимых величин тоже произведение лезет.
А логарифм - та самая единстенная штука, которая позволяет перейти от умножения к сложению.

Если ты хочешь, чтоб информация о независимых событиях была аддитивной, тебе нужен логарифм.
Чтоб вместо умножения вероятностей складывать информации.
1 байт + 2 байта = 3 байта
Ну или возьми другие единицы информации - наты, например, чтоб логарифм покрасивее натуральным сделать.

Пусть сообщение имеет N равновероятных вариантов (если случайно выбирать его содержимое). Хотелось бы как-то определить удобную функцию для количества информации, содержащимся в сообщении:
f(N), (N >= 1)
На нее накладывают требования:
1) чтобы количество информации росло с ростом количества вариантов сообщения:
f '(x) > 0, (x >= 1)
2) чтобы количество информации в сообщении, имеющем всего 1 вариант, было равно нулю:
f(1) = 0
3) чтобы информация в двух сообщениях была суммой информаций каждого из сообщений (та самая аддитивность). Если в первом сообщении число вариантов N, во втором M, тогда при объединении их в одно общее сообщение число вариантов N * M. Тогда информации в каждом из сообщении:
f(N), f(M)
в одном общем сообщении:
f(N * M)
и мы хотим, чтобы:
f(N * M) = f(N) + f(M)
А далее замечаем, что логарифм удовлетворяет сразу всем трем свойством. Потому его оказалось естественно использовать для данных целей.