Вина перед женой мешает заниматься сексом с любовницей

Я встречалась с мужчиной, у нас был секс и поначалу все было хорошо. Но чем дальше заходили наши отношения и крепли чувства к друг другу, у нас возникали проблемы: Когда он входил в меня у него неожиданно падал, причем и он и я точно знаем что он хочет меня, и не понятно почему так происходит. + у него есть жена, с ней в этом плане у него все хорошо. Ходили к врачу, там все нормально. Думается что это психология. Подскажите.