Как должна возрастать мера информации

Отвечая на вопрос о том, как должна возрастать мера информации, следует отметить ее аддитивность и логарифмическую зависимость от числа возможных состояний. При увеличении количества равновероятных исходов системы N мера информации возрастает пропорционально логарифму этой величины. Если два независимых опыта объединяются, общий объем полученных данных равен сумме их информационных емкостей. Таким образом, мера информации растет линейно при экспоненциальном росте числа комбинаций символов.

$I = \log_2 N$

Разбор по случаям

Примеры

Рост при увеличении вариантов. Рассчитаем информационную емкость сообщения при увеличении числа исходов. Пусть первоначально система имела $N_1 = 4$ состояния, что давало $I_1 = \log_2 4 = 2$ бита. При росте числа исходов до $N_2 = 16$ получаем $I_2 = \log_2 16 = 4$ бита. Мы видим, что при возрастании количества состояний в четыре раза мера информации увеличивается ровно на два бита.

Сложение независимых данных. Рассмотри передачу двух независимых сообщений. Первый источник содержит $N_1 = 8$ вариантов со значением $I_1 = \log_2 8 = 3$ бита. Второй источник имеет $N_2 = 32$ варианта, где $I_2 = \log_2 32 = 5$ бит. Совокупное число комбинаций равно $N = 8 \cdot 32 = 256$. Итоговая величина составляет $I = \log_2 256 = 8$ бит, что подтверждает правило сложения.

Частые ошибки

• Считается, что при увеличении числа вариантов вдвое объем данных возрастает тоже в два раза, а не на один бит.
• Ошибочно умножают информационные емкости независимых сообщений вместо их сложения при объединении систем.
• Путают линейный рост длины двоичного кода с экспоненциальным ростом количества кодируемых состояний.

Коротко

Подводя итоги, ответ на вопрос о том, как должна возрастать мера информации, заключается в ее логарифмической зависимости от числа исходов и свойстве аддитивности. На практике мера информации увеличивается на постоянную величину при каждом кратном умножении количества возможных состояний системы.