Mit lehet tenni apámmal (haszonélvezeti jog)?

Sziasztok!

Adott egy lakás, amiben normál esetben hárman élünk, édesanyámmal és testvéremmel együtt, viszont apám is ide van bejelentve. Öcsémmel kettőnk nevén van a lakás fele-fele arányban, édesanyám, és apám nevén pedig haszonélvezeti jog van. A szüleim már 2000-ben elváltak, és azóta apám megkeseríti az életünket, hol elköltözik(amikor így van annak örülünk), hol pedig visszajön, mert haszonélvező ugye, és akkor jön-megy amikor kedve tartja, és rengeteg a vita.

Egyszer már tettlegességig fajult a dolog, apám meglökte öcsémet, mert ő nem hagyta magát a vita során, én pedig megütöttem apámat. Kihívtam a rendőrséget, de lényegében semmi nem történt, csak felvettek egy jegyzőkönyvet arról, hogy mi történt, de mivel apám nem volt itt, amikor a rendőrök, ezért ők nem láthatták, hogy mi folyik itt, amikor ő itt van. Azt mondták, ha bármikor újra ilyen történik, hívjuk fel őket, de kérdezem én, mégis mit tennének, pláne, ha mire kiérnek megint nem lesz itt éppen? Mit lehet apámmal csinálni, ha egyszer haszonélvezeti joga van, amire nekem egyszer azt mondták, hogy gyakorlatilag többet ér, mint maga a tulajdonjog?

Hogy lehetne ebből az egészből megmenekülni? A válaszokat köszi szépen előre is!