Meu neto não quer mais ir a na casa do pais nos dias de visita

Boa noite,


Minha filha ficou grávida aos 17 anos de um rapaz de 17 anos também, na época ele quis se casar, mas minha filha não. E desde que meu neto nasceu nunca proibimos as visitas, os dias de visita foram legalizados porque o pai do meu neto um dia ligou e ameaçou tirar a criança dela, então achamos melhor legalizar tudo, ele paga pensão e o convênio médico, porém nunca demonstrou muito interesse nas visitas, pois sempre quem vinha buscar era a avó paterna, a avó mesmo sempre falou que o filho dela era omisso em relação ao filho, meu neto há algum tempo já não quer ir mais na casa do pai, uma vez já tinha acontecido e depois ele tornou a ir, mas agora está mostrando muita resistência, já fica apreensivo um dia antes da avó vir buscar, e agora faz dois meses que minha filha se casou com outro rapaz e de lá para cá o pai está fazendo questão de vir buscar, mas o menino que já tem 8 anos não quer ir mais à casa da avó, e a avó briga com a gente alegando que lá não acontece nada para ele não querer ir, mas não é o que ele conta, fala que a avó coloca ele de castigo e que o pai nunca tem tempo para ele, que está sempre trabalhando, e que um tio que é solteiro implica muito com ele , tem fim de semana que ele vai e nem o pai vê. Temos que obrigá-lo a ir? Temos medo que isto nos dê algum problema com a justiça, se puderem me orientar desde já agradeço.