Tenho o direito de proibir criança de dormir na casa do pai?

Boa noite, estou a um mês separada e tenho um bebê de 9 meses que já não mama mais o leite materno, porém não quero que o pai dele leve ele pra dormir, pois meu bebé já não o reconhece tanto e no dia dos pais que ele ficou lá, o pai dele mesmo me relatou isso é que ele chorou algumas vezes. Então não acho que seja viável que ele durma lá. Tenho esse direito de impedir ?