В конце дня внук начинает драться: вроде бы по-шуточному

Здравствуйте, я бабушка, у меня проблема в отношениях с внуком. Я с ним с первого дня рождения, с больницы,все для негою сейчас мама пошла на работу на целый день и мне пришлось к ним ездить на целый день быть с ребенком, хотя я так всегда по первому зову -они в соседнем городе -на дорогу уходит 1 час. Папа -лидер,занят сам собой и жена ему нужна для выслушивания его проблем и как обслуживающий персонал, я не замечаю от него каких то нежностей к дочери. дочь инициативная за все хватается сама . теперь о внуке -целый день мы заняты с ним играем , чему-то по возможности учимся а в конце дня он начинает со мной драться-вроде бы пошуточному- я останавливаю,потом злюсь и шлепком в том числе -он еще больше,начинает обзывать и бить чем попало,останавливает только попытка взять ремень что приводит до истерики и естественно я ложу ремень на место( ничего им не делая) . Я ухожу в другую комнату и сижу но правильно я поступаю я или нет я не знаю, подскажите пожалуйста.