Hogyan kell megoldani a következő feladatot? Kódolás, diszkrét matek.

Az entrópia ennyi:

Σ -p·log(p)

ahol a log kettes alapú logaritmust jelent.

Szóval mind az 5 megadott valószínűségnek vedd a logaritmusát, stb.

Pl. az első tagból ez lesz:

p = 0,34

log(p) = -1,5564

-p·log(p) = +0,5292

Ezt kell a többi négyre is megcsinálni, és ezeket összeadni.

Felső korlát:

Az entrópia akkor a legnagyobb, ha minden betűnek azonos a valószínűsége. Most 5 betű van, tehát p=1/5 állandó valószínűségnél lenne a legnagyobb az entrópia:

5·(-p·log(p)) = -log(1/5) = log(5) = 2,322