Он стал относиться к моим детям плохо

Живу в гражданском браке с мужчиной старше себя на 17 лет. У нас годовалая дочь. От предыдущих браков у меня есть сыновья 10, 9 и 5 лет. У него также есть дети: сыну 14 и дочери 18 лет, они живут отдельно. Характеризуя своего супруга, могу сказать, что он человек спокойный, уравновешенный, рассудительный. Тем не менее, пришлось столкнуться с такой проблемой - он стал относиться к моим детям плохо. Может оскорбить их – обозвать раздолбаями и подобными словами. Стукнуть, пнуть их. Не раз делала ему замечания. Однако он ссылается на то, что его дети не были такими безалаберными. Говоря о своих детях отмечу, что они действительно не всегда обязательны: то тапки не оденут, то посуду не помоют, то уроки не сделают. Но с другой стороны, если им сказать помыть пол, пусть не очень чисто, но помоют, сходят за младшим в садик, присмотрят за сестренкой. Старшие забирать из д\сада ходят с 7-8 лет. Дочь оставляла с ними когда той было 7 месяцев. Одним словом с них иногда приходится спрашивать как со взрослых. Иногда жалко их становиться. Супруг вроде все понимает, но говорит, что детвора моя его раздражает. Особенно младший сын, он очень похож на своего отца, который после развода всячески пытается напакостить нам. Пыталась объяснить ему, что они не такие плохие. Не исключаю, что где-то есть и моя вина. Но пока ситуацию не удалось «разрулить». Что делать?