Уходить от него или остаться?

Добрый день. Встречаюсь с мужчиной 4 года. Он живет гражданским браком. Недавно его жена узнала о наших отношениях, ушла от него, но через два дня вернулась. Он говорит, что любит меня, хочет продолжать наши отношения, но не уходит от нее. Говорит, что из-за нашей большой разницы в возрасте (20 лет) мы не можем жить вместе. Боится, что я его лет через 10 брошу. Однако, если его жена во второй раз узнает о наших отношениях, он уйдет ко мне. Я совсем растеряна, что мне делать. Я люблю его, готова ради него на все. Но понимаю, что дальше так продолжаться не может. Нужно что-то менять в наших отношениях. Либо остаться с ним, либо уходить от него. Подскажите, пожалуйста, как мне поступить?