Энтропия и количество информации
Важнейшей объективной характеристикой информации, не зависящей от источника, приёмника и канала связи, является количество информации. Единица количества информации (бит) является такой же фундаментальной единицей, как и метр, килограмм, секунда и другие (но не относится к физическим единицам).
Зачем может понадобиться умение вычислять количество передаваемой информации? Например, для оценки пропускной способности интернет-каналов или для оценки нагрузки на сервер. Такие расчеты могут помочь выбрать оптимальный тариф на аренду VPS/VDS сервера: https://adminvps.ru/vps/vps_russia.php.
Бит - наименьшая единица информации, на практике применяются более крупные: байт, килобит, килобайт, мегабайт и другие (см. ниже).
Рассмотрим определение количества информации в общем случае. Если источник информации может находиться в одном из n дискретных состояний с вероятностью pi в каждом из них (i=1,2,...,n), то в качестве меры неопределённости можно ввести функцию H, называемую энтропией. Будем называть каждое возможное состояние источника информации сообщением. Энтропия i-го сообщения, по определению, равна \[{H_i} = {\log _2}\frac{1}{{{p_i}}} = - {\log _2}{p_i}\] Логарифмы берутся здесь по основанию 2 для удобства, чтобы энтропия любого из двух равновероятных и несовместных событий равнялась единице. Очевидно также, что энтропия достоверного события (\({p_i} = 1\)) равна нулю. Наоборот, чем менее вероятно некоторое событие, тем больше его энтропия, это и понятно, ведь более редким событиям приписывается большая информационная значимость. Энтропией источника называется среднее значение энтропии сообщения: \[H = \sum\limits_{i = 1}^n {{p_i}{H_i}} = \sum\limits_{i = 1}^n {{p_i}} {\log _2}\frac{1}{{{p_i}}} = - \sum\limits_{i = 1}^n {{p_i}{{\log }_2}{p_i}} \] Это определение энтропии, предложенное Клодом Шенноном (C.Shennon, 1948), считается классическим. Аналогично можно определить энтропию приёмника информации. Если энтропию приёмника информации до прихода некоторого сообщения обозначить \({H_0}\), а значение энтропии после получения сообщения \({H_1}\), то разность этих величин \({H_1} - {H_0}\) (изменение энтропии) будет равна количеству информации, содержащейся в сообщении: \[Q = \sum\limits_{i = 1}^n {{p_i}{{\log }_2}\frac{1}{{{p_i}}}} \] Примечание. Для вычисления логарифма по основанию 2 можно использовать тождество \[{\log _2}a = \frac{{\ln a}}{{\ln 2}} \approx 1.44\ln a\]
1 бит - это количество информации, образующееся в результате проведения опыта, имеющего два равновероятных несовместных исхода.Например: информация, содержащаяся в результате бросания монеты (выпадение одной из двух её сторон: орла или решки) равна 1 биту; вероятности рождения мальчика или девочки можно считать близкими к 0.5, следовательно, количество информации, соответствующей рождению именно мальчика (или девочки) равно также одному биту.
Зачем может понадобиться умение вычислять количество передаваемой информации? Например, для оценки пропускной способности интернет-каналов или для оценки нагрузки на сервер. Такие расчеты могут помочь выбрать оптимальный тариф на аренду VPS/VDS сервера: https://adminvps.ru/vps/vps_russia.php.
Бит - наименьшая единица информации, на практике применяются более крупные: байт, килобит, килобайт, мегабайт и другие (см. ниже).
Рассмотрим определение количества информации в общем случае. Если источник информации может находиться в одном из n дискретных состояний с вероятностью pi в каждом из них (i=1,2,...,n), то в качестве меры неопределённости можно ввести функцию H, называемую энтропией. Будем называть каждое возможное состояние источника информации сообщением. Энтропия i-го сообщения, по определению, равна \[{H_i} = {\log _2}\frac{1}{{{p_i}}} = - {\log _2}{p_i}\] Логарифмы берутся здесь по основанию 2 для удобства, чтобы энтропия любого из двух равновероятных и несовместных событий равнялась единице. Очевидно также, что энтропия достоверного события (\({p_i} = 1\)) равна нулю. Наоборот, чем менее вероятно некоторое событие, тем больше его энтропия, это и понятно, ведь более редким событиям приписывается большая информационная значимость. Энтропией источника называется среднее значение энтропии сообщения: \[H = \sum\limits_{i = 1}^n {{p_i}{H_i}} = \sum\limits_{i = 1}^n {{p_i}} {\log _2}\frac{1}{{{p_i}}} = - \sum\limits_{i = 1}^n {{p_i}{{\log }_2}{p_i}} \] Это определение энтропии, предложенное Клодом Шенноном (C.Shennon, 1948), считается классическим. Аналогично можно определить энтропию приёмника информации. Если энтропию приёмника информации до прихода некоторого сообщения обозначить \({H_0}\), а значение энтропии после получения сообщения \({H_1}\), то разность этих величин \({H_1} - {H_0}\) (изменение энтропии) будет равна количеству информации, содержащейся в сообщении: \[Q = \sum\limits_{i = 1}^n {{p_i}{{\log }_2}\frac{1}{{{p_i}}}} \] Примечание. Для вычисления логарифма по основанию 2 можно использовать тождество \[{\log _2}a = \frac{{\ln a}}{{\ln 2}} \approx 1.44\ln a\]
Похожие публикации: