Tras haber abdicado en su hijo y en su hermano, Carlos desembarcó en Laredo, en la costa norte de Castilla, el 28 de septiembre de 1556 después de su estancia en Flandes. Había escogido el monasterio de San Jerónimo de Yuste en Extremadura para su lugar de retiro, está en las estribaciones suroccidentales de la sierra de Gredos con vistas al valle de Plasencia. Carlos conocía esta región porque la había visitado en vida de su mujer. No viajó solo en Yuste, cincuenta personas le acompañaban. Llegó el 3 de febrero de 1557. A Carlos le sentó bien el clima, a veces iba de caza. Su vida en Yuste era animada por la música: cuando no hacía otra cosa o estaba enfermo, se dirigía a la iglesia del convento y cantaba en el coro con los monjes de la orden de los Jerónimos. Tenía una voz clara y sonora. Se dedicaba también a la mecánica con relojes, muñecas y soldados que podían moverse. Recebía muchos visitantes, se informaba de los acontecimientos políticos y aconsejaba a Felipe a través de sus cartas.
