Быть с другом и отказаться от мысли о семье и детях. Или уйти, но как?

Нужен совет: мы с моим другом вместе 4 года. Он был дважды женат. Второй развод очень выбил его из колеи. В обоих браках есть дети. Он не хочет на мне жениться и иметь детей. Мы даже фактически не живем вместе: то у меня, то у него. Но он говорит, что любит меня. Я тоже испытываю к нему глубокое чувство. Я хочу быть с этим человеком всю жизнь, семью, детей. Он открыто говорит, что не хочет. Иногда даже говорит, что мешает мне жить, потому что мне нужны дети и семья. Наверное, выходом было бы уйти от него. Но как это сделать, когда даже один день без него так тяжело прожить?