Возвращать или отпустить?

Добрый день. Прошу, как и все - помощи. моя ситуация такова: прожила в гражданском браке 2,5 года. Муж (на сег. день ему 37 лет, мне 25) - бывший коллега по работе (уволились, как стали явны наши отношения, причем сама судьба подала руку, и нашли работу, которую хотели). Ко мне он ушел от женщины, с которой прожил гражданским браком 4 года. Оставил ее с ребенком 1 год (на тот момент). На все мои уговоры подумать и не делать так (оставлять ее) он отвечал, что уже давно они в ссоре и планов на будущее нет. Кроме ребенка от этих отношений, у него еще два ребенка (мальчики) от официального брака. Развод тоже непонятно (с его слов) почему. Сказал, что по молодости расписались (хотя было и венчание). И вот на сегодняшний день я так же осталась с ребенком на руках, но без него. В течение 1,5 лет все было замечательно. Правда, он мне предложил расписаться и свадьбу, но я отказалась, т.к. меня конечно же смущали "бывшие" развалы его семей. Я из прочной семьи, где мать и отец, и не могла понять, как может мужчина бросить женщину, еще и с маленьким ребенком. Он предлагал ребенка, но у меня с этим проблемы, и сказала, что нужно лечение, оно дорогое и спешить не стоит, т.к. своего жилья нет. Он проявил инициативу, сходил к доктору, и выяснилось, что у него вторичное бесполодие. Естественно, с двумя диагнозами "невозможной" беременности мы не предохранялись. В результате, когда наши отношения с ним зашли в тупик, я узнала, что беременна. К тому моменту он уже со мной не жил, снял отдельную комнату (забыла отметить, что когда мы с ним сошлись, жили в моей съемной квартире, а не в его, что я считаю ошибкой). Всю беременность он жил на два дома - то со мной, то... не знаю где. Роды были совместные, после родов месяц жила в другом городе (где и рожала), и после приезда домой - он стал помогать. Мыть ребенка и проводить периодически с нами выходные. После 6 мес.,как исполнилось ребенку, он вдруг собрал вещи и ушел. Попросила все объяснить, сказал: потом, некогда, будет время - поговорим. Не понимаю, как это расценивать. Хочу отметить, что я работала все время, вкл. роддом. в 4 мес. вышла на работу. Няне и за квартиру я платила. У него были трудности с работой в течение года (в чем он винит только меня, точней что из-за наших ссор он не мог работать). Помогите разобраться, надо ли такого человека возвращать... он неоднократно уходил, забирал вещи... потом, когда я относилась к нему равнодушно, возвращался. Или отпустить его? На самом деле для себя я только из-за ребенка колебаюсь, т.к. не представляю, как скажу, что папы у него нет. Относительно моих чувств на данный момент трудно что либо сказать, т.к. зла на него, что все так просто сделал и ушел, но если углубиться в прошлое, то я просто жила этим человеком.