как разруливать, если отбирают игру

Создалось впечатление, что эта " дружба" тяготит вас обоих - и сына, и маму. Не удивлюсь, если в глубине души перед их приходом в гости или совместной прогулки, вас гложет чувство обреченности и вы с тяжелой душой идёте на эти встречи. Ваша " дипломатия" всем во вред.
Я не Песталоцци, поэтому мне видится радикальное решение: прекратить общение. Вы лично -человек мягкий. Вряд ли сможете резко и сразу обрезать концы. Значит, для начала избегайте под разными предлогами, и постепенно все само сойдёт на нет.
Когда-то именно так поступил мой муж: на даче был довольно агрессивный мальчик чуть старше нашейдочки. То совочком по голове норовит ударить " соратников" по куличикам, то горсть песка в лицо бросить... то своей машинкой чужой зАмок разрушить...Правда, дети были на тот момент младше ваших. И мой до крайности мягкий и деликатный муж перестал водить дочку на ту площадку и мне категорически запретил. Позже , с возрастом, дети замечательно играли вместе. С родителями мальчика отношения не прерывались, сохранялись ( и до сих длятся) дружественными.