Говорит, что любит, но у наших отношений нет перспективы

После развода с мужем осталась с дочкой 8 месяцев. Развод был тяжелым, но сейчас относительно спокойные отношения с бывшим супругом. Через 2 года после развода встретилась с молодым человеком. У нас сложились замечательные отношения. Я с самого начала рассказала ему о ребенке и его это не смущало. Но через некоторое время он начал мне говорить, что боится, что не сможет полюбить моего ребенка, так как не чувствует на нее своих прав - она не его дочь и другой мужчина все время вмешивается в нашу жизнь, лишая его свободы действий (имеется ввиду то, что бывший муж забирает ребенка раз в неделю). Других проблем в отношениях нет. Есть и любовь и взаимное уважение и понимание общих целей. Но вот с этим никак справиться не могу: много раз разговаривали, обсуждали, предлагала обратиться к психологу, искать выход. Он говорит: тебя люблю, но у наших отношений нет перспективы. Даже не знаю, что можно предпринять в этой ситуации. Сейчас девочке всего 3 года, она к нему хорошо относится. А я разрываюсь между ребенком, своей любовью к этому мужчине и просто не знаю, как себя вести.