Posso proibir o pai dos meus de ficar com eles por um longo período?

O pai e a avó paterna dos meus filhos ficam falando para eles que estes irão morar na casa do pai, que vão fazer de tudo para tirar eles de mim. Inventam que eles estão sendo maltratados na minha casa para os amigos, vizinhos e familiares, e assim criam um círculo de pessoas a favor deles. Já ouvi ligações deles para os meus filhos dizendo que o pai vai correr atrás para pegar a guardar deles, ficam falando mal do meu atual marido, colocando o meu filho mais velho contra ele. E sempre que os meus filhos voltam da casa do pai, eles voltam revoltados comigo e com meu esposo dizendo que vão morar na casa do pai.
Outra coisa, o meu ex não respeita os horários combinados para entregar as crianças, passando até um dia do combinado, onde em três ocasiões, o meu filho mais velho acabou tendo que faltar aula por isso.

Então eu quero saber, se eu posso restringir as visitas do pai? Tipo, ao invés dele pegar as crianças e passar um fim de semana inteiro com eles, ele pegar num dia e entregar no mesmo dia?!

Levando em consideração também, que o meu filho mais velho quando vai para a casa do pai, fica na rua sozinho com outros adolescentes até de madrugada.