Mãe abandona e negligência filho, pode perder o direito pela criança?

Vou tentar resumir minha situação...

A mais ou menos sete anos atrás tive um relacionamento (nada sério) muito rápido com uma mulher que acabou gerando uma criança, onde fizemos o teste de DNA e deu positivo. Como éramos muitos jovens ainda, fiquei assustado, porém não fugi de minhas obrigações assumindo e o registrando, desde então nunca deixei faltar nada para ele, desde a gestação paguei todas as pensões e mais além. Mas infelizmente a mãe dele assim como parte da família não eram de boa índole, onde a criança era passada de mão em mão, passando um tempo com a avó, outro tempo com a vizinha, com primas, tias, etc. A mãe não queria saber de trabalhar, virou garota de programa, não usava o dinheiro da pensão em prol da criança. Como eu trabalhava viajando e solteiro, não tinha como ficar com a guarda dele, tentei colocar ele em escolas particulares de tempo integral, porém não o levavam a escola, o tempo veio passando e muita gente da própria família da mãe dele entravam em contato falando de coisas absurdas que aconteciam com ele, presenciou o tio dele sendo assassinado a queima roupa, sua mãe tendo relações em sua frente, festas com pessoas alcoolizadas sob efeito de drogas, etc. Enfim, depois de 5 anos me casei, conseguir um emprego fixo construí meu lar, correndo atrás de uma vida financeira estável, fiz o Boletim de ocorrência informando o ocorrido e resolvi buscar a criança em setembro do ano passado, onde o mesmo estava na casa de uma vizinha da avó dele pois a mãe dele já estava com dois meses desaparecida. A criança chegou em estado decadente, claramente com problemas psicológicos, agressivo, totalmente sem educação. Desde então eu e minha esposa que é professora de educação infantil estamos dedicando ao máximo para recuperar o tempo perdido. Hoje fazem 8 meses que estamos com ele, podemos notar um grande avanço, porém a mãe dele voltou e quer ter contato, exigindo a guarda compartilhada. Não concordei e como já havia um processo contra ela não deixei ela ter contato nenhum com ele até que se resolva tudo na justiça.

Entretanto, sei que difícil ela brigar por isso, mas gostaria saber se existe a possibilidade de ela conseguir a guarda compartilhada? Depois de toda a negligência dela?
Vale lembrar que tenho várias provas contra ela, seria um grande retrocesso se ele voltasse a ter convivência com ela novamente.

Desde já agradeço demais a ajuda!