Свои обещания он не выполнил, но стоит ли все рушить?

Добрый день! Прошу помочь в решении вот какого вопроса: с гражданским мужем прожили 6 лет, после 2,5 лет он ушел к другой женщине, но потом через полгода попросился обратно. Я вернулась, но при условии, что наш брак будет официальным и будут дети. Однако шло время, находились причины не выполнить это - то нет денег, то какие-то проблемы... В остальном все было хорошо. Но такая ситуация меня не устраивала, я напомнила про обещания, начали пытаться завести ребенка, но не получалось в течение полугода, пройти обследования он отказался (я их прошла), начались ссоры, говорил обидные вещи, что тогда он хотел семью и детей, а теперь разочаровался во мне и не хочет больше ничего, что я внешне ужасная (хотя по мнению других это далеко не так) и вообще куча претензий разного рода. Я не выдержала оскорблений и ушла к родителям, он сказал, что ему нужно время, отдохнуть, придти в себя, якобы все его достали. Не знаю, стоит ли сейчас забрать оттуда свои вещи или дать время подумать, остыть? Остаться одна не боюсь, просто не хочется рушить, что было, ведь не так плохо было все...