La familia en la que nace Carlos no es feliz. El hogar paterno está en crisis:  la armonía de la Corte de Bruselas es destruida con el descubrimiento por Juana de la infidelidad de su marido. Las relaciones entre Felipe y su esposa son horribles con numerosas escenas de celos de Juana. Así, las vivencias de sus primeras semanas en los Países Bajos destrozan el resto de la tranquilidad de Juana, ya enferma sufriendo de esquizofrenia. Incluso después de un acontecimiento tan importante y alegre como el bautismo de su hijo, Juana regresa triste y sola a sus aposentos. A los veintiún meses de Carlos, sus padres van a España para serjurados en las Cortes como sucesores de sus abuelos, los Reyes Católicos. Los padres nunca han proporcionado al niño el calor y el amor de una verdadera familia. Para Carlos el año 1506 marca un cambio importante en su vida con la muerte de su padre  en septiembre en Burgos y el hecho de que la madre no vuelva de España. Carlos tiene una relación muy cercana con sus hermanos. Se cria en la Corte flamenca casi como un huérfano con el fallecimiento de su padre y la reclusión de su madre, debido a su locura, en Tordesillas a partir de 1507. A partir de entonces es su tía Margarita de Austria quién cuida a Carlos y a sus hermanos.