En 1861 contrajo matrimonio con Casta Esteban, hija de un médico, con la que tuvo tres hijos. El matrimonio nunca fue feliz, y el poeta se refugió en su trabajo o en la compañía de su hermano Valeriano, en las escapadas de éste a Toledo para pintar.