Desde su juventud, Antonio Pérez era conocido como un hombre muy carnal, se decía que su única debilidad era las mujeres. Pero para convertirse en secretario de Estado, tuvó que obtener más credibilidad y entonces casarse con Juana de Coello. 
Pérez no consentió facilmente contrer matrimonio con esta mujer de origen noble, porque no era rica ni hermosa. El Principe de Eboli, que tenía mucha inflencia en este hombre, y el Rey actuaron para que se casara con ella porque ya la habia dejado embarazada. Así, en 1567, Antonio Pérez se casó con Juana de Coello, que estaba esperando su primera hija : Gregoria. Aunque su esposa le estaba completamente devota, sigó seduciendo otras mujeres.
Aún se le conocía una relación con Ana de Mendoza, la Princesa de Eboli. Era la mujer de Ruy Gomez de Silva, principe de Eboli, padre de sus 10 hijos (aunque solo 6 vivieron) y favorita de Felipe II. Viuda cuando tuvó 33 años, sostuvo relaciones con el secretario de Estado. Estas relaciones están recalcadas en la serie La Princesa de Eboli, estrenada en Antenna 3.