Он не уходит из семьи и встречается со мной по графику

Добрый день! Так получилось, что я полюбила женатого мужчину. Он очень долго уговаривал меня быть вместе, но я сопротивлялась. И вот когда я наконец-то сказала "да", началось пресловутое "подожди". У него 2-е совсем еще маленьких деток. Жена все знает о наших отношениях, мы с ней встречались не раз. Да что там, она звонит мне на домашний и просит позвать его к телефону. Устроили график: вт, чтв, суббота со мной, остальные с семьей... ситуация дошла дальше некуда, и как быть я не знаю. Каждый раз на вопрос, когда мы будем жить вместе, я слышу: скоро. Я беременна, срок 7 недель. Он безумно счастлив, и я тоже, но вот сейчас он дома.. с ней... завтра день рождения у их общих друзей... послезавтра дочку в воскресную школу... потом посидеть с сыном - и так каждый день. Ограничиваемся лишь тем, что видимся на работе, и по вечерам вт, чт, суббота. Ситуация пришла в тупик - терпеть все не хочу и не могу, бросить не могу - люблю, и очень хочу ребенка именно от него (мы планировали). Что делать?