В 1 байте 8 бит....Байт - единица хранения и обработки цифровой информации.

Это не из теории вероятностей, а из комбинаторики берется - количество размещений с повторениями.
Если так хочется формулу то смотри http://ru.wikipedia.org/wiki/Двоичная_система_счисления#.D0.97.D0.B0.D0.BF.D0.B8.D1.81.D1.8C_.D0.B4.D0.B2.D0.BE.D0.B8.D1.87.D0.BD.D1.8B.D1.85_.D1.87.D0.B8.D1.81.D0.B5.D0.BB

Один бит может принимать значение 0 или 1, то есть два разных значения.
Если взять два бита, то получатся такие 4 = 2^2 варианта: 00, 01, 10, 11.
Если взять три бита, то получатся такие 8 = 2^3 вариантов: 000, 001, 010, 011, 100, 101, 110, 111
К каждому варианту в старшем бите прибавляется по 2 варианта во 2 бите, а к каждому второму биту прибавляется по 2 варианта в 3 бите, и так далее.
Таким образом, есть по два варианта в каждом бите, а всего 2 в степени количества бит.

единица это ток идет.
ноль это тока нет.
бит это проводок.
байт это группа из восьми проводков.

Это цифровое, или дискретное (от слова обрубленное, резкое) представление.

Есть еще аналоговое (от слова аналогия) .
У нас один провод. По нему пускаем от 0 до 100 вольт, весь диапазон, - где 0 вольт это логически цифра 0, 100 вольт - цифра 100.
Аналоговая передача невероятно детализированная, поэтому сильно пользуется спросом у музыкантов. Но не в хранении.
При очень высокой плотности (за единицу времени) у этого подхода большой недостаток - 40 вольт очень легко могут стать 41 или 39 изза внешних помех или проблем с самим носителем (проводом) .

Цифровой способ передачи был применен в основном для защиты от помех. Для ядерной войны (читайте про EMP вспышки) .
Но, все процессоры также стали активно его применять изза высокой устойчивости и значит стабильности.
Хотя к примеру современные истребители комплетуются двумя дублирующими цифровыми ядрами и одним аварийным аналоговым (изза компактности) .

Соответствено имея один проводок, в нем может быть два значения.
Поэтому за базу берется двойка и возводится в степень количества проводков (каждый из которых может иметь два состояния) .

эко тебя торкнуло

не заморачивайся в МАТЕМАТИКЕ,,,,

не 256, а 2 _0 и 1_

потому что байт = 8 битам, а бит это суть либо 0, либо 1.
0000 0000
0000 0001
0000 0010
....
Вспоминаем комбинаторику или просто здравый смысл. Каждая цифра может принимать 2 значения. Если цифр 2, то значений 4, если цифр, то значений 4х2=8=2в3степени.... и т. д.

2^8 - это количество различных комбинаций нулей и единиц (при том, что слово состоит из 8 знаков) .
Количество комбинаций считается именно степенью.
(кол-во перестановок - факториалом, но это так, к слову)

формула 2 в степени и в 1 бите находится 1 или 0