Guarda compartilhada: o que fazer?

Tenho uma filha de dois anos e meio, a guarda é minha, mas o pai tem livre visitação, não temos um acordo firmado pelo juiz, apenas verbal e nunca o proibi de pegar a menina. Porém ultimamente ele vem exigindo cada vez mais ficar com a menina, e desde o inicio do ano eu permiti ele passar a noite com ela em finais de semana alternados, com isso ela acabou saindo da amamentação, ele pegando no sábado e me devolvendo no domingo a noite, mas agora ele quer pegar na sexta e me devolver no domingo, eu não quero permitir pois acho que vou ficar muitos dias sem ela e ela sem mim e que isso pode não ser bom pra ela, pois é muito grudada comigo e quando o pai vem buscar ela chora muito por não querer ir com ele, mesmo ele me dizendo que depois ela se acalma, eu acho estranho ela ainda não estar acostumada com a presença do pai, já que praticamente ela o vê todos os finais de semana. Ele me ameaça que se eu não deixar, ele vai entrar com a guarda compartilhada. Minha filha está na creche municipal, muito boa por sinal, pq eu trabalho de segunda a sexta,e se for por guarda compartilhada perderei a vaga da qual lutei muito pra conseguir e se ele tiver direito a ficar um período com ela é a mãe dele que vai cuidar da minha filha, pois ele trabalha todos os dias. Ele fica me chantageando com isso pra eu ceder em tudo o que ele pede. O que posso fazer? Quais são os meus direitos? Como posso agir pois sei que se ele conseguir a guarda compartilhada vai afetar o psicológico da minha filha e o meu tbm?