Ушел из семьи ко мне, а теперь оскорбляет

Добрый день, очень нуждаюсь в совете профессионала.
Я 7 лет встречалась с женатым мужчиной, будучи сама замужем. Так получилось, что ребенок родился от него, и вот когда ребёнку было 4 года, я пошла ва-банк и решила, что жить с мужем больше не могу, и с этого времени наконец-то мой любимый переехал ко мне, трудно было сначала, непонимание (у него тоже дети, жена), плакали по вечерам, крепко прижавшись друг к другу и т.п.
Мне казалось, что лучше его просто нет на свете, взаимопонимание, любовь, желание, но прошло совсем немного времени и началось:
туда не ходи, сюда не смотри, если он не едет на обед, значит и мне нельзя, как-то поехала на обеде с сослуживицей в ресторан, а ему не сказала (чтобы не расстравать), через неделю он задал вопрос, где я обедала, ответила правду, обиделся, наорал, сказал, надо было ему все равно позвонить. В следующий раз сказала сразу перед поездкой на обед, так обиделся так, что неделю не разговаривал.
Как-то сказал, что я плохая хозяйка, хотя всегда хвалил меня, 5-летнего сына из-за мелочи СВИНОТА обозвал, сказал что болеет РАКОМ, спустя 3 дня сказал, что пошутил, я просто места себе не находила.
Вот что делать с ним, я его прошу уйти с моей квартиры, потому что можно ещё долго перечислять его унижения и оскорбления. Он начинает говорить, что он всем пожертвовал ради меня, ушел из семьи и т. п. Что мне делать??? Все говорят, что на мне просто лица нет, что огонек погас, а ведь к этому мы оба стремились.