Муж — «чужой», а бывший — «родной» человек

Здравствуйте. Меня зовут Светлана. Я замужем. Есть дочь 5 лет. до брака два года я встречалась с молодым человеком. Это была первая любовь. Не страсть, а сильная привязанность, теплое чувство комфорта, покой, уверенность в нем. Но так получилось, что отношения не сложились. Его направили работать в Москву. Я за ним не поехала: работа в банке, карьера в Мурманске, родители… Он просил, умолял. Но я решила, что лучше порвать отношения. Хотя сама сильно переживала.
Прошел год. И я встретила своего будущего мужа. Еще через год вышла замуж. Семейная жизнь складывается по-разному. Конфликты бывают, но не больше и не меньше чем у всех. Ощущение, что муж «чужой» человек, было всегда: слегка равнодушный, холодный.
Но летом в моей жизни совершенно случайно объявился тот самый молодой человек. Но уже не очень, конечно, молодой))))) и я поняла, что ничего не прошло, что по-прежнему люблю его. Несколько раз мы виделись. Он вернулся в Мурманск, свободен. Говорит, что по-прежнему любит, не хочет терять. При этом находится в какой-то панике, утверждает, что у нас нет будущего и не знает, что делать, что я сама должна принять решение, быть с ним или нет… У меня же безумная потребность в нем, желание быть просто рядом и ощущение, что это «мой» человек. Я его чувствую. Нам даже не надо говорить, когда мы вместе, просто и хорошо. При этом, я не уверена, что готова сейчас все бросить и уйти к нему. Заводить роман «на стороне» тоже не хочется.
Он особо не настаивает на том, чтобы я осталась с ним, но при этом и не отпускает. Говорит — решай, время покажет, Бог рассудит. Мне сложно разобраться в его чувствах.
Сейчас мне трудно принять какое-либо решение, но и терять его во второй раз не могу. Помогите, пожалуйста, выйти из ситуации и построить разговор, который расставит точки. Спасибо большое за совет.