Понятие о теореме Шеннона

Скорость передачи информации по каналу связи равна количеству информации, передаваемой в единицу времени \[I = \frac{{\Delta Q}}{{\Delta t}}\] Скорость передачи измеряется в битах в секунду или в бодах (1 бит/с=1 бод). Максимальная скорость передачи информации называется пропускной способностью канала связи: \[{I_{\max }} = \frac{{\Delta {Q_{\max }}}}{{\Delta t}}\] Пусть источник с энтропией \(H\) передаёт эту информацию за время \(\Delta t\) по каналу с пропускной способностью \({{\mathop{\rm I}\nolimits} _{\max }}\). Тогда, если \[\frac{H}{{\Delta t}} \le {I_{\max }}\] то это количество информации может быть передано без искажений. Если, наоборот, \(\frac{H}{{\Delta t}} \ge {I_{\max }}\), то передача информации без искажений невозможна. Это довольно ясное утверждение называется теоремой Шеннона (первой). Она накладывает ограничение на максимальную скорость передачи информации.