Конспект урока Различные подходы к измерению информации

Различные подходы к измерению информации
Содержательный подход – в нём:
а) важен субъект, получающий информацию;
б) понятность, новизна информации.
Алфавитный подход – важно:
А) мощность алфавита.
Б) число символов в сообщении.
Пример. Я получили три – 13 символов, каждый несёт 1 байт информации => сумма всей информации равна 13 байт
N – мощность алфавита;
k – количество символов в сообщении;
i – количество информации, которое несёт 1 символ информации;
i=log2N- мощностьI – количество информации, которое несёт всё сообщение :I=k*iВ этих подходах мы считали, что все буквы могут встречаются с равной вероятностью.
Вероятностный подход.
Формула Хартли для равновероятных исходов:
I=H=log2nФормула Шеннона для разновероятных исходов:
I=H=i=1npi log21piОбе используются для нахождения энтропии (вероятности) всего опыта.
Для одного исхода: Ii=Hi=log21Pi