Муж думает, что я ему навязываю общение с ребёнком

Здравствуйте. У нас с мужем проблема. Он работает за городом, приезжает только на выходные. И в последнее время он все время психует, уезжает на работу на негативе. Мы с ним не ругаемся. Просто, как он говорит, что ему кажется, что когда он дома, я пытаюсь навязать ему общение с трехмесячным сыном. Он говорит, что он хочет общаться сыном, но не тогда, когда я "навязываю" ему его. На самом деле я не навязываю, просто за неделю, когда его не было, накапливаются дела, которые нужно делать, вот и получается, что просьба посидеть с сыном для того, чтоб сделать какие-то дела, принимается за навязчивость, а помимо сына у нас есть дочь, которая собирается в первый класс. Подскажите, пожалуйста, что делать?