Хочу опять быть с ним

Я встречалась с парнем почти год, потом расстались, он хотел начать жить вместе, а я не готова была. Но мы общались еще год где-то, он все надеялся вернуть. За это время у меня появился другой, за которого я вышла замуж. Он тоже нашел другую, живет с ней и говорит, что любит и хочет с ней быть. При этом мы общаемся иногда. Но недавно мы поехали вместе в командировку и переспали. Я поняла, что люблю его, и я вижу, что и он тоже меня не забыл. И так уже 5 поездок мы смотрим друг на друга, спим вместе, а наутро каждый идет к своей семье. Мы как будто боимся что-то менять и не говорим об этом. Но я поняла, что хочу быть только с ним и хочу понять, как перевести наши отношения в другое русло, при этом боюсь, что спрошу напрямую, а он испугается и все закончится. Как его подтолкнуть?