A saját házamból a haszonélvező apám kitehet?

Van egy ingatlanom. Benne élek a férjemmel és a kisfiammal. Összevesztem apámmal aki egy agresszív ember és tőle vettük a ingatlant. A haszonélvezeti jogát fenntartotta. Nem volt ebből probléma eddig a pillanatig... Most hogy anyámmal elváltak a házuk eladják és kitalálta hogy ide akar költözni, amivel nem lenne baj, ha mi nem újjítottuk volna fel az ingatlant és persze nem itt élnénk már 2 éve.

Rendbetettük az udvart visszakötettük a villanyt és a vizszükítést is megcsináltattuk illetve a csatornázást és beszigeteltettük a házat. Most megirigyelte és ide akar költözni, csak hely nincs számára... Mégis megteheti? Ráadásul hozzhatja az új nejét is?