Отношения с нынешним мужчиной не оправдывают моих надежд

Здравствуйте. Я живу с мужчиной 1,5 года. С первым мужем развелась из-за него, он тоже обещал развестись. Но как только начали жить вместе, сразу начались отговорки, то одно мешает, то второе. Потом вообще начал нервничать, когда заходил разговор про развод. При этом начались скандалы. Он не раз упрекал меня в различных ситуациях, то лимит ему устанавливаю насчет общения детей, то хозяйка не такая. Причин много. Часто называл неблагодарной, мол, я тебя в такие условия привел, я тебе то и это, а что твой бывший для тебя сделал. Было очень тяжело морально. Всю вину свалил на меня. Потом отходит и просит прощения. Он очень вспыльчивый, да еще и тираном оказался. Что касается общения его с детьми, я никогда не была против этого. Они взрослые, обоим за 20. Но он упрекал и в том, что мои дети со мной, а своих он бросил. Живем рядом, сын его уже живет в браке. Не пойму, кого он бросил??? Он обеспеченный, жена полностью на его обеспечении, потому что дочь живет с ней. Дочери 20 лет. Его дети со мной не общаются и не здороваются. Я уже и не настаиваю на другом. Мы с мужем строили дом. Одна половина жилая, вторая в процессе. Там нет ни отопления, ни света. После раздела я оставила себе вторую половину. Думала, что мне есть где жить, а бывший пусть живет в готовой половине. Да и чувство вины за развод было. А теперь мне даже некуда идти. Уходила, правда не раз. Он возвращал. Сейчас живем с детьми в половине бывшего. Он работает вахтой и тут не бывает. Но это же не вечно. Что мне делать. Мужчина, с которым я жила, постоянно зовет назад. А я боюсь, что опять будут скандалы и упреки. При этом разводиться он не будет, сказал, пока наши отношения не наладятся, он не разведется. Я его люблю и было много хорошего между нами, но переживаю за свое будущее. Мне нужно взвалить теперь только на себя свою половину дома. Дети большие, студент и ученик 11 класса. Живут со мной.