Devo deixar a criança com o pai que não registrou?

Tenho um filho de 5 anos, o pai não quis registrar quando descobrimos. Passei toda a gravidez sem ajuda de nada até meu filho fazer 1 ano de idade. De lá pra cá ele mal vê o filho e não ajuda com nada. Dentro desses 5 anos de tiver gasto 1000 reais foi muito. Eu não peço ajuda dele, só queria que ele fosse presente na vida da criança. Recentemente ele pegou a criança e saiu, o horário que eu marquei a entrega do meu filho foi 20:00h, ele entregou quase 23:00h. Tentei explicar que não podia fazer isso, pois como ele não registrou a criança, na próxima vez eu chamaria a polícia. Estou errando em fazer isso? Ele e toda a família dele me julga por eu ter essas atitudes, mas faço isso pensando no meu filho. Quero que ele tenha contato com o pai, e se por acaso ele sair com a criança, trazer no horário combinado. As pessoas acham que eu tô procurando confusão e não tô preocupada com a criança. Alguém me tira essa dúvida.