Hogy kezeljem ezt lelkileg?

Van egy értelmi fogyatékos bátyám, aki mindig várja, hogy menjek át náluk (szülőkkel él). Hiába mondom neki, hogy pár napig nem tudok, mert sok dolgom lesz, mégis minden egyes nap megkérdezi. Ami tudom, hogy csak egy kérdés, de lelkileg borzasztó nyomás, mert mennék, de ugye főállás, család, stb... szóval van dolgom e mellett is bőven. Mikor meglátom messengeren a kérdést amit addig ismételget amíg választ nem adok, egyszerre érzek sajnálatot, dühöt és lelkiismeretfurdalást. Nagyon rossz érzés és nem tudom hogy tudnám ezt kezelni. Neki hiába mondom, süket füleket talál nála a dolog. Valahogy magamban kell helyretennem, hogy ne legyen ez minden ilyen üzenet után. Úgy lettem nevelve, hogy segítsem, hogy álljak mellette ha kell, és meg is teszem, de nem tudom napi szinten.