Colegio de San Juan de la Cruz, Abandonado