Nem értem az alábbit a feltételes entrópiával kapcsolatban (Shanon-féle információelméleti)?

"Tehát úgymond még mérés előtt van értelme erről a bizonytalanságról beszélni." Az információelmélet színtiszta matematika, ebbe a mérés fogalma nem fér bele, egyébként:

- Nem csak méréssel lehet megállapítani valamit, a forrásentrópiát sem.

- Attól, hogy nem ismerjük a P(x|y) valószínűségeket, még léteznek.

"és így csak egyetlen H(X|Y) képlet van, de valójában sok különböző H(X|y)-nak lenne értelme."

H(X|Y) azt az átlagos információmennyiséget jelöli, amennyivel okosabbak leszünk, ha korábban már az Y által leadott jelet ismerjük, de megtudjuk az X által leadott jelet is.

H(X|y) - ez azt jelentené, hogy ha ismerjük y-t akkor átlagosan mekkora plusz információt fog jelenteni az X által leadott jel megismerése. Ezek p(y) szerint súlyozott átlaga H(X|Y).

Tegyük fel, hogy te vagy a Kódoló, vagyis aki az Adó üzenetét kódolja, és a kódot rárakja a csatornára hogy így a Vevőhöz jusson.

Azért jó az "átlagot" ismerned, mert neked gőzöd nincs arról, hogy az Adó milyen jelsorozatot akar majd elküldeni. Csak azt tudod, hogy melyik jelnek mekkora a valószínűsége - ergo ismered a forráseloszlást. A forrásentrópia nem más, mint az az információmennyiség, amit az Adó átlagosan fog küldeni - ez alsó korlátot jelent neked arra nézve, hogy te milyen kódot tudsz kitalálni, vagyis mennyire tudod kihasználni a csatorna kapacitását.