Arriendo sin contrato familiar directo

Hola hace dos años arrendamos una casa de un familiar directo sin contrato escrito solo de palabra, en esa ocasión la casa se encontraba en pésimo estado, nosotros arrendatarios decidimos arreglar la casa con nuestro dinero ya que el dueño consciente nos dejó y acordamos descontar los arreglos mensualmente, ahora luego de dos años de arriendo sin aún terminado de descontar los arreglos el dueño nos pide la casa y nos quiere pagar pero en cuotas, exigiendo que dejemos la casa, como arrendatarios tenemos todas las cuentas al día y todas las transferencias de pago de arriendo al día también y incluso todas las boletas de los gastos que invertimos en arreglar la casa, mi consulta es podemos defendernos hasta que nos pague el total de los arreglos sin Dejar la casa ? Por que el temor de entregarle la casa y que no nos pague esta claro… muchas Gracias quedó atento a alguna respuesta
Saludos

Si no hay contrato lo veo imposible, el dueño de la propiedad tiene derecho sobre su bien raíz.