Direito a uma venda de imóvel ?

Meu irmão e eu tínhamos uma casa juntos, eu comprei a parte dele, fiz transferência de escritura, e fizemos um acordo de boca, de deixar uma parte livre do terreno. Agora ele quer me processar querendo reaver toda a casa ele tem direito?
Era uma casa de herança, porém sempre esteve em nosso nome, na parte do terreno dele, ele me pediu para que ajudasse a construir, então todo o dinheiro que teria que dar a ele, foi investido na construção da casa, e não deu para concluir.