Az információ mértéke
A legkisebb információ az igen/nem döntésben megjelenő ismeret. Az információtartalom és a döntési tartalom legkisebb mértékegysége a bit. A számítástechnikában az igen döntést az 1, a nem döntést a 0 ábrázolja. Az 1 és a 0 egy-egy bitnyi információ.
Az információmennyiség bevezetése Claude Elwood Shannon  amerikai matematikus nevéhez fűződik. Véleménye szerint a hírközlési folyamat leírható, és az információ mennyiségileg meghatározható. Megalkotta a hírközlési rendszer modelljét, melyben az információforrásból, adóból leadott jel egy csatornán keresztül jut el a vevőig, a rendeltetési helyig (vett jel). Az információáramlást különböző zajforrások befolyásolhatják. Lényeges, hogy az üzenet eljusson a forrástól a rendeltetési helyre, az átvitel hibátlan, illetve gazdaságos legyen.
 
FORRÁS(ADÓ ) ==>> KÓDOLÓ  | V ZAJFORRÁS ==>>  CSATORNA | V  NYELŐ(VEVŐ ) <== DEKÓDOLÓ

Az adó üzenetet küld a vevő felé. Mivel a forrás által kibocsátott üzenet számos oknál fogva nem továbbítható közvetlenül a vevő irányába - például az élőbeszéd csak a közvetlen közelben tartózkodók számára felfogható, a távolság itt továbbíthatóságot kizáró ok -, a kibocsátott közleményt át kell alakítani olyan jelekké, melyek alkalmasak a továbbításra egy bizonyos fizikai közegben. A kódoló átalakítja az adó által leadott információt, ahhoz egy üzenetnek megfelelő jelsorozatot, kódot rendel. A jel továbbítása valamilyen anyagot, energiát igényel. A csatorna hordozza, továbbítja a jelsorozatot. A dekódoló "megfejti" az érkező jelsorozatot, így a vevő a visszakódolt, számára értelmezhető információt kapja. 