Como lo hemos visto, Carlos casi no conoció a su madre durante su infancia ya que a sus veintiún meses sus padres se fueron a España para heredar del reino de Isabel la Católica dejando a Carlos y a sus dos hermanas Leonor e Isabel bajo la crianza de su tía Margarita de Austria. En el verano de 1504 sus padres regresaron a Flandes pero se fueron de nuevo a Castilla en el año 1505. Cuando Carlos llegó a Castilla fue a ver a su madre, a la que no había visto desde hacía once años, a Tordesillas donde estaba encerrada desde 1509. Juana no reconoció a Carlos ni a Leonor. Los dos hermanos se llevaron una impresión muy desagradable y Carlos prometió a su hermana Catalina, que vivía encarcelada con su madre, que le sacara de la cárcel. A partir de allí, Carlos visitó muchas veces a su madre en el encierro de Tordesillas e incluso pasó en Tordesillas unas navidades acompañado de su mujer y de sus tres hijos. Trató siempre con respeto a su madre. Su muerte en 1555 le afectó mucho y fue una de las causas de su retirada.
