Anyám nem engedi, hogy elköltözzek töle a kisfiammal. Mit tegyek?

A kisfiam 4 hónapos. Szülés után odaköltöztem hozzá, segített a babát rendezni. Mikor vissza szerettem volna költözni a páromhoz pár hét mulva kijelentette, hogy nem fogja engedni, hogy elvigyem a babát, mert a páromnak nem való gyerek, félti töle (alkoholproblémái voltak régen, attól tart, hogy inni fog és nem figyelne a gyerekre, ha vele van). Emiatt a párom veszekszik, azt hiszi én nem akarok vele lakni. Anyu azt is mondta, hogy amúgyse engedné mert már megszokta, hogy mindennap látja a babát és rossz lenne nélküle. Azzal ijesztget, hogyha elviszem a gyereket, akkor meg fog halni az idegességtöl, de nem baj, mert már ugyse lesz akkor értelme az életének. Én viszont nem vele szeretném felnevelni a kisfiamat, és nem akarom otthagyni neki. Van már saját családom velük szeretnék élni. Hogyan oldjam meg?