Fernando de Loazes, o el patriarca Loazes como algunos lo llaman, era el quinto hijo del médico Rodrigo Loazes y Togores y de su esposa Isabel Pérez de Albillo, detrás de sus hermanos: Beatriz, Isabel, Juan y Pedro.
Parece ser que su bisabuelo por parte de padre llegó a Orihuela por 1440, habiendo sido con anterioridad caballero por el rey Sancho el Bravo por sus heroicidades en la batalla.
Sabemos que se casó antes de ascender en la escala de cargos eclesiásticos y que tuvo varios hijos, siendo el más importante, Fray Juan de Loazes, quien según la mayoría de las fuentes era su sobrino, aunque en realidad se trataba de su hijo, el cual tuvo muchos problemas porque sus padres eran solteros en el momento de concebirlo.