Con la emperatriz Isabel, su única esposa, Carlos I tenía cinco hijos. El 21 de mayo de 1527  Isabel dio a luz a su primer hijo en Valladolid: el príncipe Felipe. Felipe fue bautizado cinco días después de su nacimiento. Luego fue el Rey de España, de Nápoles, Sicilia y Portugal. Felipe II murió en septiembre de 1598.

13 meses después del primer parto de Isabel nacó María el 21 de junio de 1528. Ella se casó con el emperador Maximiliano II de Habsburgo, su primo hermano.

El 22 de noviembre fue el nacimiento de Fernando, pero el murió pocos días después del parto.

En el año 1534 la Emperatriz tenía su primer abort y durante la segunda ausencia de Carlos de 1535 hasta 1536 dio a luz a Juana, la futura Juana de Austria. Ella fue muy inteligente que a los ocho años sabía el latín y tocar instrumentos.  En 1552 se casó con su primo hermano Juan Manuel de Portugal. Además fue archiduquesa de Austria e Infante de España. Finalmente murió en 1573.

Los emperadores tenían otro hijo: Juan que nacó el 19 de octubre de 1537 pero el también murió pocos días después de su nacimiento.