Las dos hermanas del entonces príncipe regente se alejan de la Corte en el verano de 1545 para establecerse en Alcalá de Henares, en cuyo municipio se desarrolla Don Carlos sin grandes tropiezos dignos de reflejarse en los pliegos de la época. María tiene entonces dieciséis años y Juana es más joven, acaba de cumplir los diez, pero será quien, superando su mocedad, tendrá más vinculación con su sobrino, dado que su hermana contraerá pronto matrimonio y se ausentará de las tierras castellanas por sus nuevas competencias en el reino de Bohemia.

Paolo Tiepolo estimaba, en su información ya aludida, que el niño tardó en empezar a hablar cinco años, pero la noticia es errónea, ya que comienza a balbucear cuando no ha alcanzado los tres, retraso que puede reputarse anormal, pero que era corriente en los vástagos de los Habsburgos. Se comenta por parte de dicho comisionado que el primer vocablo que pudo pronunciar fue “no” y que la anécdota causó la hilaridad del Carlos V al argumentar que su nieto tenía razón si se refería a los gastos y cuanto daban su abuelo y su padre. La historieta no tiene realce, pero es verosímil que fuese cierta, puesto que el emperador, bien enterado de cuanto acontecía en la península, fue recibiendo con frecuencia pormenores de las felices agudezas que se le ocurrían al pequeño.

La estancia en la población complutense no es muy larag. Don Felipe se reúne con las dos jóvenes infantas en mayo de 1548 y retorna con ellas y su hijo a Valladolid.