Основные понятия

Процесс познания приводит к накоплению информации (знаний), то есть к уменьшению незнания.

Измерить объем накопленных знаний нельзя. А вот оценить уменьшения незнания можно, если известно количество возможных вариантов исхода.

Количество информации – мера уменьшения неопределенности знаний при получении информационных сообщений.

Единица количества информации бит. 1 бит – количество информации в сообщении, которое уменьшает неопределенность в два раза.