ВОПРОС № 1: Подходы к измерению количества информации. Мера Шеннона.
ОТВЕТ:
Мера информации по Шеннону
В середине XX века (1948 г.) американский инженер-связист Клод Шеннон предложил ввести меру количества информации с помощью статистической формулы энтропии.
Заметим, что понятие "информация" обычно трактуется как "сведения", а передача информации осуществляется с помощью связи. Связь между количеством информации и энтропией послужила ключом к решению ряда научных проблем.
Например: При бросании монеты выпадает орел или решка, это определенная информация о результатах бросания. При бросании кости получаем информацию о выпадении определенного количества очков (например, трех). В каком случае мы получаем больше информации?
Вероятность W выпадения герба равна 1/2, вероятность выпадения трех очков - W=1/6. Реализация менее вероятного события дает больше информации: чем больше неопределенность до получения сообщения о событии (бросание монеты, кости), тем большее количество информации поступает при получении сообщения. Информация I связана с числом равновероятных возможностей P - для монеты P=2, для кости P=6.
При бросании двух костей получаем вдвое больше информации, чем при бросании одной кости: информация независимых сообщений аддитивна, а числа равновероятных возможностей перемножаются. Значит, если имеются два набора равновероятных событий P1 и P2 , то полное число событий
P=P1*P2, (1)
а количество информации I складывается, т. е.
I(P)=I(P1*P2)=I(P1)+ I(P2). (2)
Известно, что правилам (1) и (2) подчиняются логарифмические функции, т. е. зависимость количества информации I от числа равновероятных событий должна иметь вид
I=A*log(P)
где постоянная А и основание логарифма могут быть выбраны по соглашению. В теории информации условились полагать А=1, а основание логарифма двум, т. е.
I=log2(P). (3)
При бросании монеты получается информация (Р=2), которую примем за единицу информации I=1:
log2(2)=1 бит
Бит - двоичная единица информации (binary digits), она оперирует двумя возможностями: да или нет, числа в двоичной системе записываются последовательностью нулей и единиц.
Уникальная фитнес станция поможет Вам не сходя с места тренировать сразу целый копмлекс мышц.
Удобный компонент для хранения и оперативного обрабатывания информации usb flash драйв.
Забавные, прикольные смс развеселят Вас и придадут позитива окружающим.
