Естественные науки

1 бит - это наименьшая единица всякой информации или в узко специализированных областях науки и техники ?

Можно информацию по Шеннону мерять.
Это будет сумма логарифмов вероятностей, помноженных на сами вероятности. С обратным знаком. Если в битах меряете, то логарифм двоичный. Немного похоже на энтропию.

К примеру: кидаете (честную) монетку один раз. Сколько здесь информации: -.5*log2(.5) - .5*log2(.5) = 1 бит.
Кидаете два раза, имеем 4 равноверятных события. Сколько здесь информации: аналогичным образом 4*(-.25*log2(.25)) = 2 бита
Для десяти бросков будет 10 бит.

Теперь пусть монетка кривая, выпадает орел с вероятностью .8 и решка с вероятностью .2. Сколько информации несет один бросок?
-.2*log2(.2) - .8*log2(.8) ~= 0.722 бита.
А теперь пусть она совсем кривая, вероятность выпадения орла равна .999. Тогда -.999*log2(.999) - .001*log2(.001) ~= 0.01 бита. Информации один экперимент почти не несет, чуть больше одной сотой бита он дает.

ЗЫ: в продвинутом тервере это применяется. Такая информация описывает хаотичность распределения, это энтропия. Например, из всех распределений на прямой с заданными мат. ожиданием и дисперсией самая большая энтропия у нормального распределения. Оно самое хаотичное. Равномерное распределение - самое хаотичное на отрезке, экпоненциальное на прямой и пуассоновское на множестве неотрицательных целых чисел тоже имеют максимальную энтропию. Каждое в своем классе и "по-своему" (при определенных ограничениях на моменты и тп)
Артём Ватлин
Артём Ватлин
19 662
Лучший ответ
Артём Ватлин И в computer science тоже применяется. Например, когда делается .zip (gz) компрессия, там энтропийное кодирование информации используется. Ну и плюс кодирование повторяющихся последовательностей символов еще... И всё, больше ничего.

Если бы не было кодирования повторяющихся последовательностей, то размер зипа был бы равен кол-ву информации по Шеннону. Округленному вверх, и плюс константу набросить на вспомогательные структуры данных.
Поскольку термин "информация" не имеет единого определения как научный термин, ты можешь смело считать битом любую наименьшую единицу этой самой информации в любом контексте, в котором ты рассматриваешь свою информацию. Смекаешь?
Не наименьшая, а просто единица. Может быть передана информация и меньше 1 бита.
Сергей Смирнов Даже интересно стало. Можно рассказать - как?
Бит, английское bit = binary digit, двоичная единица.
Используется и как мера количества информации, например о состоянии объекта, способного принимать два и только два состояния. Например фразы "пациент мертв" или "пациент жив" содержат по одному биту информации каждая.
Да, бит это минимальное количество информации. Если объект способен принимать большее, чем два, количество состояний, то для описания каждого состояния потребуется более одного бита.
Понятие бита используется в многих отраслях знания. В том числе и в узкоспециальных.
Батыр Батыр
Батыр Батыр
69 539
Неверная формулировка.

Информация В ТОМ ЧИСЛЕ может быть представлена в двоичном формате, и в этом формате наименьшая единица измерения равна величине дискретизации - а она равна 1 биту.

Информация в целом не имеет размерности, если не приводить её к какому либо дискретному формату.
Да. Бит-байт-килобайт-мегабайт-гигобайт-терабайт.

Похожие вопросы