Не хочу продолжать отношения, если он в любой момент может уйти

Добрый день. Моя история такая: мне 31, мужу 29, в браке 8 лет, есть сын от первого брака, ему 10 лет, муж его усыновил, ребенок другого отца не знает, были счастливы. Муж последний год очень хотел совместного ребенка, я просто убрала спираль, специально не обследовались, не высчитывали, беременность не наступила. Последний год я получила долгожданное повышение и увлеклась работой, отношения охладели, мужу внимание не уделяла, понимаю, моя вина. Муж всегда меня очень ревновал, боялся, что я уйду, излишне контролировал. Пару раз за все время узнавала, что у него были интрижки на стороне, но я прощала, так как люблю его и физическую измену считаю не поводом разрушать семью. Три месяца назад у него появилась любовница, ей 18 лет, говорит, что беременна, но сами результаты не видели, она то занята, то муж в это время на работе, думаю, обманывает. Про девочку эту я узнала, (живем в маленьком городе), мужчин у нее и до и во время отношений с моим мужем было более чем достаточно. Я сначала устроила скандал, выгоняла его, он говорил, раскаивается, просил прощения, обещал расстаться. Позвонил ей, сказал, что семья дороже и т.п., она звонила, писала, умоляла его вернуться. Потом я сама ей написала смс в грубой форме, чтоб больше нас не беспокоила. Она звонить/писать перестала (хотя, может, с других номеров созванивались, я не знаю). С мужем мы поговорили откровенно, я приняла решение, что снова уйду на должность ниже, чтобы проводить время с семьей, займемся анализами и расчетами для наступления беременности, я видела, что муж говорит искренне, любит нас, хочет сохранить семью. Отношения стали, как в самом начале, трепетные, любовь и секс с новой силой, я была даже рада, что так вышло и мы снова вернулись к таким чувствам. Но прошла неделя, пришел с работы, сказал, хочет выпить (он вообще не пьет), выпил, начал придираться ко всему. Когда я предложила откровенно поговорить (мы договаривались все рассказывать друг другу), сказал, любит меня, расставаться не хочет, но его тянет к ней, не знает, что делать. Такого я, конечно, не ожидала. Как раз в этот день у меня высокая вероятность зачатия, сказала ему - на что ответил, что уже не уверен во мне, вдруг я его буду упрекать, что бросила карьеру и т.п. (???). Я не хочу так жить, зная, что может уйти в любой момент, тем более рожать ребенка, сама все переосмыслила, предложила расстаться, ответил, что соберет вещи и уйдет. Не знаю, что мне делать. Знаю, что сейчас его вернуть могу, но жить и думать уйдет-не уйдет, не смогу. Или уже лучше расстаться, переплакать один раз и не мучать друг друга? О работе и думать не могу. Помогите, не знаю, как правильно поступить.