Ele pode tomar ela de mim?

Olá! Quando minha filha nasceu o pai passou dias pra ir vê-la no hospital e a família dele nunca veio vê-la dizendo que não gostava de ver criança recém nascida, qdo ela completou 3 meses levei ela na casa dele e enfim conheceram a bebê. hj em dia ela tem 1 ano e já faz 8 meses q ele não da nd a ela, e quando dava ñ era sempre, ate posso pontuar o que ele chegou q dar a ela: lenço, fralda, pomada, shampoo e 1 sandália. passamos 3 meses separados e esse tempo ele nunca veio ver a menina, com a desculpa q não gosta de andar na minha casa, sendo q ninguém daqui nunca falou mal dele e nem proibe ele de vim e só perguntava como ela tava pelo whatsapp e as vezes. A família dele nesse tempo nunca ligou pra saber como ela estava, e quando falo q a menina ta precisando de algo usam q estão cheio de dívidas q qdo melhorar dão as coisas dela. moro com minha avó, mais não falta nd pra minha filha, não saio pra festas, realmente só cuido da minha filha. Nem ele e nem a família dele nunca tiveram afeto com a minha filha, tanto q ela não tem tanta ligação com eles! ele me disse recentemente que esta viciado em cocaína, e atualmente ele está desempregado, pede dinheiro emprestado aos outros pra comprar drogas, alegando que o dinheiro é pra comprar coisas pra filha, sendo q essas coisas nunca chegam aqui. porém não proibi ele de vim vê-la, disse que quando ele quiser vim ver ela ficasse a vontade, só q nem ele e nem a familia dele aceita a separação, elas dizem que abandonei ele por ele ser assim, elas me tem como a solução dos problemas pra ele não fazer coisas erradas, sendo que eu não sou obrigada a viver com uma pessoa que não gosto mais e nem quero que minha filha cresça vendo essas coisas, quero saber se ele e a família dele tem direito de tomar ela de mim ?