Pais separados e uma filha de 6 meses. O pai já pode pegar? Em quais condições?

Tenho uma filha de seis meses e que ainda está amamentando, o pediatra autorizou eu começar a introduzir alguns alimentos. Voltei a trabalhar quando ela tinha 4 meses e desde então ela fica com a minha mãe e eu tiro o leite materno todo dia para ficar com ela.

A minha pergunta é, o pai da minha filha quer pegar ela todo domingo para passar o dia e eu não estou deixando, ele não paga pensão, só paga o convênio médico que eu tive que brigar por isso (valor R$ 300) e todo mês ele compra lencinho umedecido.

Nesses últimos tempos a gente vem brigando muito e algumas coisas eu consegui gravar, ele ameaça tirar ela de mim, fala que quer ela em uma escola e não com a minha mãe, porque minha família está ficando mais com ela do que a família dele, desde que ela nasceu ameaça dizendo que vai entrar na justiça e que vai brigar para dar apenas 20% do que ele ganha e que vai tentar tirar ela de mim ou ter a guarda compartilhada.

Eu não sei como agir mais, estou com meu psicológico totalmente abalado, já teve dias que fiquei sem leite de tão nervosa que fiquei.

Ele realmente já tem direito de pegá-la? Em quais condições?