После развода сын поменял отношение ко мне

Здравствуйте!

Я развёлся с женой больше 3 лет назад, сыну было как раз 3. Он сильно переживал конечно. Он остался жить с женой. Сейчас она замужем, у сына уже сестра есть малолетняя. Сын и до этого был необщителен и сдержан в эмоциях, точнее в их проявлении. Сейчас же я теряю связь с ним. Раньше я регулярно его навещал, брал к себе на выходные. Теперь же, когда я вынужден ежедневно возить его в садик (дошкольное образовательное учреждение), я живу в другом городе, он всё реже и реже ездит ко мне. Он не хочет ко мне ехать, у него явно проявляются нервозность, начинает трясти руками, сам трястись, начинается истерика, тихий истерический плач и стон если узнаёт, что я приехал его взять к себе. Он видится со мной, говорит в ответ на признание в моей любви взаимностью, мы гуляем вместе, но со мной ехать ко мне на выходные отказывается практически всегда, изредка неохотно соглашаясь. Меня очень разочаровывает такое отношение к себе, я его очень люблю, но зачастую с порога натыкаюсь на опущенную в пол голову и почти злобный взгляд исподлобья. Раньше он к двоюродной сестре хоть ездил (моей племяннице), сейчас же и это для него не аргумент ехать со мной. У матери же он постоянно сидит перед телевизором, чего говорить, ещё не проснувшись бабушка или мать ему телевизор уже включают. Он может сидеть и играть весь день в ПК и телевизор всё это время будет гореть. Из-за развода, он год просидел дома с беременной матерью, прибавить к этому его необщительность и скромность и он уже не пойдёт в школу в этом году. Я с ним более года учил буквы, произношение, написание, а то что он в группе научился читать узнал чуть ли не через несколько месяцев. Раньше я думал, что он ко мне не едет, поскольку я пытался с ним заниматься, буквы учить, он всякому обучению с моей стороны противоречит, а теперь и не знаю что думать. Что мне делать? Как мне себя вести?