Бывший парень стал моим любовником

Помогите разобраться в себе..
Я замужем, уже 3 года. С бывшим парнем рассталась 5 лет назад.. отношения были обычные, он — любил, я нет, потом — наоборот.. я — любила — он обижался за мою прежнюю нелюбовь.. были молодыми тогда, по 19 лет. Он — первый мужчина у меня. Хотя он, наверное, в это не верит до последнего. Много было обид от него, измен, и всякой гадости.. он это понимает и признает. Видимся с ним иногда, пару раз был секс.. хотя нет, не секс, а занятие любовью. Именно так. Я замужем.. к мужу хорошо отношусь, но и бывшего забыть не могу.. Как только он появляется в моей жизни — теряю голову, хотя ничего нас с ним не связывает такого, от чего можно было бы его любить. Бывший говорит, что любит, что никого не хочет видеть кроме меня в роли своей жены.. матери его дочки, но боится меня уводить из семьи.. Договорились с ним встретиться, но он так и не позвонил, хотя клятвенно обещал, что встретимся и поговорим серьезно.. Испугался, наверное. Со стороны говорят все, что любит меня бывший, вот только ничего не делает, чтобы меня вернуть. Часто по пьянке звонит, говорит, что не может больше без меня.. недавно прислал смс, по возвращению с отдыха.. что «привет, я вернулся, позвони, когда будет время..» я позвонила — он трубку не взял, сказал, что обещала днем позвонить, а позвонила поздно вечером. В общем, помогите советом.. что ж это за отношения такие?? если иногда мы с ним просто общаемся, ему даже секса от меня не надо, говорит разговор со мной для него подобен сексу. Хотя когда это все-таки происходит между нами — он такой нежный и ласковый, с такой любовью ко мне относится, что я теряю голову.. просто знаю, что с другими он таким не бывает. Знаю, про всех его женщин, с кот. он спит.. он сам рассказывает при наших редких встречах.. Иногда мне становится страшно от того, что он может тоже жениться. Не хочу этого. Хотя, может, это и к лучшему. Не знаю, когда с ним — кажется, люблю его.. а когда нет — сомневаюсь в себе.. Мы с ним одного знака зодиака, одного года, может, поэтому думаем одинаково порой.. и не понимаем др. др.. Что делать, ума не приложу.. пыталась разорвать с ним отношения, а он все равно пишет либо звонит, спустя время.. Я так просто не могу больше, и мужа терять не хочу, и с ним что-то решать нужно.. Подскажите, как быть..