Entrar na justiça para ter os direitos do meu filho

Tenho um filho de 1ano e 11 meses. Queria saber se eu entrar na justiça para pedir a pensão para o pai dele, eu posso proibir ele de levar meu filho para casa dele. Porque desde que meu filho nasceu ele veio ver no máximo cinco vezes e de um ano para cá ele sumiu. Meu filho não conhece ele e nem a sua outra família, a última vez que ele viu o meu filho ele tinha uns 10 meses. Ajudou uma vez só com R$ 100 e deu um andador para ele e umas cinco peças de roupa. Já tenho minha família e ele tem a dele, mas não quero que ele atrapalhe a minha vida. Ele é um desconhecido para meu filho, quero os direitos dele, mas não queria que ele levasse para casa dele. Ele pode vir ver, mas não levar. Queria saber se posso proibir de levar? Ele registrou.