Carlos nace en Gante el 24 de febrero de 1500, es el segundo hijo de la pareja formada por el archiduque Felipe el Hermoso, hijo de Maximiliano de Habsburgo y de María de Borgoña, y de Juana de Castilla, hija de los Reyes Católicos, Isabel y Fernando. A la hora de poner un nombre al niño, Juana y Felipe no están de acuerdo: Juana quiere llamarle Juan con referencia a su hermano y Felipe, Carlos en honor a su abuelo Carlos el Temerario. En definitiva le ponen el nombre de Carlos siguiendo así la tradición borgoñona: por tercera vez, después de un Felipe va a aparecer un Carlos. Es bautizado el 7 de marzo en la catedral de San Bavón bajo el retablo del cordero místico de Van Eyck y tiene como padrinos a Margarita de York (viuda de Carlos el Temerario), a Margarita de Austria (tía del niño, hermana de Felipe), al príncipe de Chimay, Carlos de Croy y al conde Juan de Bergen. La familia en la que nace Carlos no es feliz. El hogar paterno está en crisis: la armonía de la Corte de Bruselas es destruida con el descubrimiento por Juana de la infidelidad de su marido. Las relaciones entre Felipe y su esposa son horribles con numerosas escenas de celos de Juana. Así, las vivencias de sus primeras semanas en los Países Bajos destrozan el resto de la tranquilidad de Juana, ya enferma sufriendo de esquizofrenia. Incluso después de un acontecimiento tan importante y alegre como el bautismo de su hijo, Juana regresa triste y sola a sus aposentos. A los veintiún meses de Carlos, sus padres van a España para serjurados en las Cortes como sucesores de sus abuelos, los Reyes Católicos. Los padres nunca han proporcionado al niño el calor y el amor de una verdadera familia. Para Carlos el año 1506 marca un cambio importante en su vida con la muerte de su padre en septiembre en Burgos y el hecho de que la madre no vuelva de España. Carlos tiene una relación muy cercana con sus hermanos. Se cria en la Corte flamenca casi como un huérfano con el fallecimiento de su padre y la reclusión de su madre, debido a su locura, en Tordesillas a partir de 1507. A partir de entonces es su tía Margarita de Austria quién cuida a Carlos y a sus hermanos.
