Az hogy Schobert Norbt megtámadták a saját éttermében mekkora hír volt, de vajon mi lett ebből?

Egy eseménynek annál nagyobb az információ tartalma minnél kissebb a bekövetkezésének esélye.

Legyen a lehetséges események halmaza A = {A1,A2, . . . ,Am}, az A1 ese-

mény valószín ˝usége p1, az A2-é p2,. . . , az Am-é pedig pm. (A valószínűsé-

gekre igaz, hogy Pm

i=1 pi = 1.) Ha az i-edik esemény következett be, annak

az információtartalma

I(Ai) = I(pi) = log2 (1 / pi) = − log2 pi

Ezt a definíciót C. E. Shannon fogalmazta meg előoször 1948-as cikkében

.

Ezzel ki lehet számolni a hír értékét. Bit ben.

Ln(1/p) ez már nat ban