Quando uma mãe pode perder a guarda do filho?

Meu ex companheiro, me contatou para dizer que irá entrar na justiça para ter a guarda do meu filho, que agora está com 7 anos. Nos separamos faz 5 anos.
Nesse período ele ajudou quando quis, muitas vezes ele mandou eu me virar (com despesas médicas, odontológicas, etc). Agora a 1 anos ele está com a pensão regularizada. Porém nunca entramos na justiça para regularizar a guarda ou valor da pensão. Ele paga 350 reais por mês.
Ele decidiu entrar na justiça, pq eu não deixei ele levar o menino para sua casa, agora no ano novo, pq o mesmo não queria. Mas quando veio para visitar, (segundo meu filho) ele falou que era pra ir, que ele tinha feito piscina, que tinha comprado coisas etc e que tbm eu era ruim, que o padrasto é ruim e que nós, ficamos fazendo a cabeça dele. E td vez que ele fica o pai e sua família ele volta irritado comigo, maltratando o padrasto, ofendendo, depois que esquece um pouco e se acalma, ele me fala que o pai falou que era pra ele fazer isso, ou que o pai falou tal coisa que o deixou bravo.
Quando vou conversar sobre isso com o pai ele me diz que o menino inventou, que quando vai pra casa dele fala as mesmas coisas.
Obs. Moramos em Estados diferentes.
Como devo proceder?