Con la emperatriz Isabel, su única esposa, Carlos I tenía cinco hijos. El 21 de mayo de 1527  Isabel dio a luz a su primer hijo en Valladolid: el príncipe Felipe. Felipe fue bautizado cinco días después de su nacimiento. Luego fue el Rey de España, de Nápoles, Sicilia y Portugal. Felipe II murió en septiembre de 1598.

13 meses después del primer parto de Isabel nacó María el 21 de junio de 1528. Ella se casó con el emperador Maximiliano II de Habsburgo, su primo hermano.

El 22 de noviembre fue el nacimiento de Fernando, pero el murió pocos días después del parto.

En el año 1534 la Emperatriz tenía su primer abort y durante la segunda ausencia de Carlos de 1535 hasta 1536 dio a luz a Juana, la futura Juana de Austria. Ella fue muy inteligente que a los ocho años sabía el latín y tocar instrumentos.  En 1552 se casó con su primo hermano Juan Manuel de Portugal. Además fue archiduquesa de Austria e Infante de España. Finalmente murió en 1573.

Los emperadores tenían otro hijo: Juan que nacó el 19 de octubre de 1537 pero el también murió pocos días después de su nacimiento.

Isabel de Portugal nacó el 24 de octubre de 1503 en Lisboa. Ella fue hija del Rey Manuel I de Portugal y de María de Aragón y Castilla.
El 10 de marzo de 1526 se casó con Carlos I de España, teniendo 23 años. La boda tuvo lugar en los Reales Alcázares de Sevilla y su matrimonio duró 12 años. Durante este tiempo fue emperatriz del Sacro Imperio Romano Germánico. Además fue mucho más que solo una esposa para Carlos: fue la madre de sus hijos y guardó del hogar familiar. Durante sus ausencias fue la colaboradora en las tareas del Estado.

Por otro lado la emperatriz tenía una mala salud que fue aumentado por sus partos. Ella dio a luz a 5 hijos pero también tenía dos abortos. Se puede decir que solo tenía descanso de ser embarazado durante las ausencias de Carlos. Pero en estas ausencias fue muy triste y sufró mucho lo que no ayudaba a su mala salud.

En fin el 1 de marzo de 1539 Isabel tenía un aborto y como consecuencia murió. Eso significaba un dolor grave para Carlos V, aunque solo dejaba escapar sus sentimientos hacia su hermana.

Este entrada se refiere a los amores de Carlos I cuando fue un jóven emperador. Fue sobre el año 1521 cuando Carlos conoció a Juana van der Gheest con aquella tuvo su primera relación amorosa. Desde esa relación tenía una hija natural, pero logicamente extramatriomonial, que llamaba Margarita. Ella fue muy importante durante el Reinado de Felipe II y fue educado por Margarita de Saboya.

Carlos I tenía otra hija extramatrimonial: la niña Juana de Austria. Ella fue la hija de una amante joven pero Carlos no sabía casi nada de ella hasta que ella tenía diez años aunque tenía su nombre en recuerdo a la madre del emperador. Pero finalmente murió muy jóven por la mortandad infantil que no fue nada especial en este época.

Aparte de estas dos hijas naturales existe la posibilidad de una tercera hija natural: la niña de una hermosa italiana que llegó a la Corte de Bruselas en 1152 y que da luz a una hija poco antes. Carlos tenía un interés muy grande para este niña que llamaba Tarea.