Az információ nem kéne szimmetrikus legyen a valószínűségek ellentettjére?

Tudom, hogy a p*log(p) alakú képletnek milyen előnyei és tulajdonságai vannak, de nem kéne szimmetrikus legyen olyan módon, hogy ha valamiről az az információm van, hogy p valószínűséggel megtörténik vagy megtörtént, az ugyanaz, mintha azt tudnám, hogy 1-p valószínűséggel nem történik meg, ezért én egy eseményhez rendelt információtól elvárnám, hogy a p <-> 1-p cserére invariáns legyen.