O dono do imóvel que eu aluguei não quer devolver o depósito caução

Aluguei um apartamento através de um corretor escolhido pelo dono do imóvel, ficou acordado que seria feito depósito caução de três aluguéis. Foi feito o contrato especificando o o número da conta que iria ser feito o depósito. o depósito foi feito porém o corretor não repassou o dinheiro para o dono da casa. Agora estou no final do contrato e por direito deveria reaver a quantia depositada, mas o dono do imóvel diz que o prejuízo é meu e não dele e não quer devolver a quantia.
Gostaria de saber se o prejuízo é realmente meu e eu que tenho que correr atrás desse dinheiro o se a responsabilidade é do dono do imóvel que escolheu o corretor que iria administrar o imóvel dele?