При изучение окружающего мира происходит процесс накоппления информации в виде знаний. При получение новой информации знания расширяются, или наоборот к уменьшению неопределенности знаний. Если какое-либо сообщение приведет к уменьшению неопределенности, то можно смело утверждать, что данное сообщение является источником информации. Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности вашего знания в четыре раза, так как получено одно из четырех возможных информационных сообщений. Ясно, что чем более неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой информации при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания). Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.