Процесс познания приводит к накоплению информации (знаний), то есть к уменьшению незнания.

Измерить объём накопленных знаний нельзя, а вот оценить уменьшение незнания можно, если известно количество возможных вариантов исхода.

Количество информации – мера уменьшения неопределённости знаний при получении информационных сообщений.

Единица количества информации – бит.

1 бит – это количество информации в сообщении, которое уменьшает неопределённость в два раза. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несёт полученное сообщение:2i=N.  (N – Количество вариантов исхода; i – Количество информации, которое несёт сообщение).