Не хочу отпускать сына в гости к новой семье отца...

Подскажите, пожалуйста!!! Мы с мужем развелись. Сыну (общему) 6 лет. Папа общается с сыном не чаще 1 раза в неделю, а то бывает и раз в месяц. Объясняет это тем, что ему морально тяжело расставаться с ребенком. Сейчас возникла следующая проблема - я не хочу, чтобы бывший муж брал сына к себе, где присутствует его новая девушка. Объясняю это тем, что она молода, неопытна и в силу обстоятельств, предшествующих разводу - считаю ее непорядочной. Сын очень переживает, что редко видит папу, от того, что папа с другой "тетей". Как мне поступить?