Развитие отношений с женатым любовником

Здравствуйте. Не знаю, что делать! Я устроилась на работу. Через пару месяцев познакомилась с парнем. Через какое-то время узнала, что он женат, в тот момент я тоже была замужем. Каждый день он оказывал мне всяческие знаки внимания. Мы стали любовниками. На данный момент я в разводе, но у меня есть ребенок, 4 года. Я к нему сильно привыкла. Мне трудно видеть его каждый день. Он не говорит ни да, ни нет. Я не пойму, что он хочет. И боюсь спросить у него, боюсь всё испортить. На данный момент всё ограничивается словами и флиртом.