При каждой ссоре он угрожает, что уйдет к жене, но не уходит

Здравствуйте! Мне очень хочется разобраться в нашей семье! У нас ситуация непонятная. Мы встретились 7 лет назад, полюбили друг друга. У него есть жена и 2 ребенка. У меня тоже 2 сына и еще один от него. Через 5 лет он ушел из семьи (было много возвратов туда/сюда), но решил, что с нами больше перспектив (дом мой, хозяйство). До сих пор не разводится и дает надежду жене, что вернется, а меня постоянно упрекает, что я его увела из семьи. Сейчас постоянно ссоримся. Его все во мне раздражает, каждое движение, каждое слово. Детей моих он терпеть не может, постоянная борьба у них, постоянные упреки и унижения старшего сына, ему 11 лет, что он мужлан и вместо него все может делать. Постоянно срывается на него из-за того, что их отец не платит алименты и не работает. У нас и семьи-то нет. Каждый живет сам по себе. Ни уважения, ни любви. Разговаривать не получается. Он считает все мои разговоры глупостью, то, что необходимо внимание, забота, поддержать иногда, обнять, поцеловать. Мои чувства - тоже глупость. Он имеет право делать все, что хочет. Постоянно обзывает и меня, и детей, унижает и считает, что это нормально. Все мы очень устали от всего этого. При каждой ссоре угрожает, что уйдет к жене, ведь она его очень ждет и что ему было намного лучше с женой. Я его не держу, но он и не уходит, потом остается осадок и недоверие к нему. Мы развели хозяйство: корова, хрюшки, птицы. Год мне доказывал, что кормить и навоз чистить - это моя обязанность. Когда я привыкла и все делаю, оказывается, что я лезу не в свое дело. Теперь еще из-за этого споры. Есть ли способ все наладить? Большое спасибо!