Meu filho não quer mais ficar comigo, pois diz que a mãe fica triste

Meu filho de 10 anos sempre ficou comigo três ou quatro dias por semana, pois sua mãe trabalha 12/36h e sempre veio feliz, o trato com amor, cuido de seus estudos, alimentação, educação, enfim, tudo que uma criança precisa, pago escola particular, todos os gastos ficam comigo, e minha esposa sempre o tratou com amor e carinho de mãe, mesmo depois de termos nossa filha.

A mãe dele sempre falou mal de mim e de minha esposa para o meu filho, mas sempre conseguimos driblar isso sem falar mal dela. Ela já se casou duas vezes depois que nos separamos e de tempos em tempos não quer que ele fique comigo, se ele vem feliz diz que a mãe chora dizendo que ele não a ama.

O problema é que agora ele não esta mais querendo vir comigo e vem meio forçado, quando é hora de ir embora fica ansioso para ir logo com a mãe, quando é para viajarmos ele diz que vai pensar se irá conosco mesmo a mãe o autorizando.

Eu não sei mais o que fazer, pois já conversei com ele, já procurei dar mais atenção, e não adiantou, já briguei e não adiantou, pensei em deixá-lo de lado e não pegá-lo para ver se ele sente falta, mas não consigo, pois sei que ele precisa do pai, sei que não sou perfeito, mas quero ajudar meu filho a ser um bom cidadão, e talvez as regras da casa, a educação faz ele achar aqui chato, pois na mãe ele é livre para fazer o que quer, não precisa comer na hora certa, dormir na hora certa, fica assistindo o tempo que quer, até junto com mãe e o padrasto dorme no quarto, tive que praticamente brigar para a mãe tirá-lo do quarto deles, pois acredito que isso atrapalhe na independência dele.

Enfim, não sei se brigo, se me afasto, se forço ele a ficar comigo, conversar já conversei. Obrigado pela ajuda!