Он ушел от жены, но я не рада, а напугана

Добрый день! Помогите, пожалуйста, разобраться, а то сил уже нет. Мы с моим мужчиной знакомы уже три года. Всё это время он жил у бывшей жены с детьми. Т.е. они разведены, но просто жили под одной крышей, воспитывая детей, т.к. жить ему негде было, как он говорил, и детей не хотел терять. Всё это время я ему говорила, что детям нужны родители, и всячески подталкивала его оставаться там! Я его очень люблю, но решила с ним расстаться, рвала наши отношения так, что больно было обоим. Он жутко переживал, это был кошмар. Через некоторое время он попросил о встрече, мы просто разговаривали, он рассказал, что собирается уходить оттуда, либо один, либо с детьми (он их очень любит), говорил, что мы будем жить вместе. Прошло время, я не ожидала, но он и правда ушел оттуда, к родителям (сказал, что больше жить так не может, с детьми встречается (они с женой, по его словам, давно не понимают друг друга, и каждый жил своей жизнью)). Мне страшно. Я не радуюсь. Я не знаю, как вести себя, что делать. Я ждала его всегда, даже когда расставались, я не знаю, что теперь снова ждать, когда он от родителей уйдет? Сейчас фин. проблемы, поэтому нет возможности жить одному, а в моей кв-ре жить не хочет, хочет свою. Посоветуйте, как мне себя с ним вести, как мне набраться терпения.