Com quantos anos tenho que deixar minha filha dormir na casa do pai?

Minha filha ainda não nasceu mas o pai dela diz se eu não deixa ela dormi com ele com sair para os lugares ele vai me por na justiça por alienação paternal. Tenho medo de perde minha filha. Eu jamais vou impedir o convívio dele com ela. Mas não acho certo ela dormi fora tão nova só a partir dos 3 anos quando já souber fala, e questão de sair, poderia mais não um dia inteiro. Não acho que seria bom, ele é irresponsável, bebê e fuma droga. Eu não confio e tenho medo.
Gostaria de saber o que eu faço, ela não nasceu e eu tenho que passar por isso tá sendo muito difícil pra mim.
O que eu faço nessa situação, o que seria certo, quanto tempo ele poderia fica com ele e quando poderia passar a dormi?

Ele não me ajuda com quase nada, até agr (estou com 8 meses) só me deu 500 reais que tive que subir entre remédios e enxoval (injeção para anemia e vitaminas e remédios para infecção) deu quase 300 reais e o restante que sobrou coloquei no enxoval que comprei praticamente sozinha, foram 1400. E o pai dele comprou a cômoda dela depois de eu muito implorar. Ele não faz questão de saber nem como ela está, só passou fazer isso depois que eu cobrei, durou uma semana. Acho um absurdo ele me ameaçar desse forma e não me ajuda e nem ligar para a filha dele. A cesária que era pra ele me ajuda a pagar, outras pessoas estão fazendo isso. Nunca falo sobre conseguir o dinheiro. Tudo me viro sozinha, pra paga um remédio que precisa eu tenho que implorar e se eu fala muito ainda saiu como errada que não entendo ele. Enfim, queria explicar como é a situação.