каков информационный объем

Вычисление информационного объема сообщения:
Информационный объем сообщения. Подходы к измерению объема информации. Кодирование и декодирование информации. Скорость передачи информации.
Подходы к измерению объема информации Алфавитный подход 1 бит - количество информации, равное информации в одном двоичном разряде. Мощность алфавита - количество символов в нем. Информационный объем одного символа алфавита в битах может быть вычислен по следующей таблице.

Количество вариантов
2
4
8
16
32
64
128
256
512
1024

Количество бит информации
1
2
3
4
5
6
7
8
9
10

То есть с помощью $K$ бит можно закодировать $Q=2^K$ различных вариантов символов. Для алфавита, содержащего промежуточное между степенями двойки количество символов, количество необходимых бит нужно округлять в большую сторону. (Лучше, если у нас окажутся двоичные коды, которым не соответствуют ни один символ алфавита, чем если окажется, что некоторые символы невозможно закодировать выбранным количеством бит, т.к. все комбинации уже соответствуют другим символам.) Чтобы найти информационный объем сообщения (текста) $I$, нужно умножить количество символов (отсчетов) $N$ на число бит на символ (отсчет) $K$: $I=N\cdot K$. Если алфавит имеет мощность $M$, то количество всех возможных "слов" (символьных цепочек) длиной $N$ (без учета смысла) равно $Q=M^N$; для двоичного кодирования (мощность алфавита $M=2$ символа) получаем известную формулу: $Q=2^N$. Важно! Степени двойки до десятой включительно стоит знать наизусть. Вероятностный подход Вероятность события - число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов. $p = 0$ - событие никогда не происходит (нет неопределенности) $p = 0.5$ - событие происходит в половине случаев (есть неопределенность) $p = 1$ - событие происходит всегда (нет неопределенности) Полная система событий: одно из N событий обязательно произойдет (и только одно!). Если события равновероятны, то вероятность наступления определенных событий равна числу "нужных" событий, деленному на полное число событий: $p = n/N$. Клод Шеннон (1916 - 2001) - американский математик и электротехник, один из создателей математической теории информации и криптографии. Если произошло событие $i$, мы получаем информацию $I_i=-\log_2p_i=\log_2\dfrac{1}{p_i}$. В подходе Шеннона мы можем сказать, что информация - это мера уменьшения неопределенности. Информация как и в алфавитном подходе измеряется в битах, но по формуле может получиться нецелое количество бит, этого не надо бояться. В случае необходимости оценить длину двоичного кода, кодирующего заданную информацию, это число округляется в большую сторону. Единицы объема информации При измерении количества информации принимается, что в одном байте 8 бит, а в одном килобайте (1 Кбайт) 1024 байта, в мегабайте (1 Мбайт) 1024 Кбайта. Однако при измерении в битах используется стандартная шкала: 1 Кбит = 1000 бит, 1 Мбит = 1000 Кбит и так далее. Важно! 1024 – это 2 в десятой степени. Кодирование и декодирование информации Кодирование - это перевод информации с одного языка на другой (запись в другой системе символов, в другом алфавите). При этом обычно кодированием называют перевод информации с "человеческого" языка на формальный, например, в двоичный код, а декодированием - обратный переход. Один символ исходного сообщения может заменяться одним символом нового кода или несколькими символами, а может быть и наоборот - несколько символов исходного сообщения заменяются одним символом в новом коде (так, китайские иероглифы обозначают целые слова и понятия). Кодирование может быть равномерное и неравномерное; при равномерном кодировании все символы кодируются кодами равной длины; при неравномерном кодировании разные символы могут кодироваться кодами разной длины, это затрудняет декодирование или даже делает его невозможным. О возможности однозначного декодирования говорит условие Фано (далее - http://www.100ege.ru/node/81756)