Боюсь быть временной заменой его бывшей жене

Встречаюсь с мужчиной, который недавно развелся. Жена забеременела от другого, не хотела развода, но он настоял, сказал ей, чтобы строила ради ребенка отношения со своим любовником, ведь он отец малыша. Отношения у нас складываются очень хорошо. Меня все устраивает, НО.. В разговорах постоянно всплывает: "моя бывшая теща то..", "а у бывшей жены ..", "у моей супруги..." Показывал мне обручальное кольцо, их совместные фотографии. Я вижу, что ему больно. Я этого очень боюсь. Когда я ему сказала, что боюсь отношений, потому что сама недавно рассталась с мужчиной, он ответил, что я просто не могу его еще отпустить в мыслях, а вот он отпустил свою жену. Хотя мне в это не верится... Я боюсь быть заменой и таблеткой от той, другой.. Ведь разведенные мужчины не спешат строить серьезных отношений всего через полгода после развода.