Durante su infancia la ausencia de sus padres hizo que la relación con sus hermanos Leonor, Isabel y María fuera más cercana.
Leonor (1498-1558), la mayor, fue una madrecita para Carlos y viajó con ella a España en 1517, dejaron a sus hermanas Isabel y María en los Países Bajos.
Isabel (1501-1526) era la segunda hija de Juana y Felipe. Fue elegida como esposa del rey Cristián II de Dinamarca y Noruega. Con ella como con Leonor y María, Carlos se servía de su idioma materna, el francés, en su correspondencia.
Así, Carlos y Leonor se encontraban en Castilla a los dos infantes Fernando y Catalina que habían nacido aquí. Carlos tenía previsto un cambio sustancial de vida para ambos.
Catalina (1507-1578) fue la sexta y última hija póstuma de Felipe. Creció junto a su madre en Tordesillas donde padeció privaciones y maltratos en manos de las guardianes de Juana. Cuando Carlos y Leonor visitaron a su madre y a su hermana al llegar a Castilla, la tristísima niñez de Catalina les conmovió mucho. Así Carlos quiso sacar a Catalina del cautiverio de Tordesillas e incorporarla a su Corte.
Fernando (1503-1564), nieto preferido de Fernando el Católico, fue educado a la española por su abuelo. Para él, una flota fue preparada en Laredo y allí hubo de dirigirse el infante. Fernando dejó su pequeña Corte de Aranda de Duero y llegó en el mes de mayo a la costa santanderina y el veintitrés embarcaba, rumbo a los Países Bajos.
María (1505-1558) fue su gran confidente y fue con ella con la que Carlos dio rienda suelta a su dolor cuando murió su mujer Isabel: se atrevió a llorar su desconsuelo, a abrirle su alma, a dejar escapar sus sentimientos, la tristeza que le invadía.
