Necesitas independencia económica y separarte del todo, busca otro trabajo, incluso Plantéate (háblalo con tus hijos y ten en cuenta temas de custodia) mudarte más lejos a algún sitio más barato que te permita ser independiente sin necesitar a tu ex pareja actual.
Seguir allí me parece una locura, y volver con alguien con quien solo puedes hacer las cosas que el quiere y que no comparte contigo moledor de crianza ni de pareja me parece directamente algo absurdo.
Un abrazo y mucha fuerza