La vida privada de Carlos dio poco juego a las anécdotas rosas: se le conocieron pocas aventuras amorosas y todas fueron anteriores a su matrimonio o posteriores a su viudez.
La primera amante de Carlos fue Germana de Foix, mujer de su abuelo Fernando el Católico. Tenía diecisiete años y se enamoró de su atractiva abuelastra que tenía veintinueve años. De esta relación nació una hija, Isabel.
Tuvo una relación con la hija de un tapicero de Audenarde, Juana Van der Gheenst, de la que nació Margarita, quien sería educada por Margarita de Austria, duquesa de Saboya y desempeñaría un papel en la historia de los Países Bajos, como gobernadora, bajo Felipe II, su hermanastro. Sería llamada Margarita de Parma al casarse con el duque de Parma, Octavio Farnesio. Carlos tendría un buen trato con ella pero ello fue debido a que su tía, Margarita de Saboya, la tomó bajo su protección.
Mantuvo también una relación con una joven de la clientela del conde de Nassau cuyo fruto fue una niña, Juana, que ingresó en un convento pero que murió muy joven, a los ocho años.
Otra niña, llamada Tadea, nació de la relación que tuvo Carlos con una italiana, Ursolina della Penna, conocida como “la bella di Perugia”. Carlos se interesaría por Tadea con frecuencia hasta tal punto que cuando supo que se había casado le mandó tres mil escudos.