Carlos de Austria o de Habsburgo nacó durante la celebración de un baile en el palacio Casa del Príncipe (Prinsenhof) de Gante el 24 de febrero de 1500 como primero hijo de Juana I de Castilla y Felipe el Hermoso.

El 7 de marzo el niño fue bautizado Carlos en recuerdo a su bisabuelo y para seguir la tradición borgoña, aunque ella quería darle el nombre Juan en recuerdo a su hermano. Carlos tiene como padrinos a Margarita de Austria, con aquella el niño va a vivir durante sus primeros años, y a Margarita de York.

Su familia no era tan feliz y no les dan tanto amor a los niños como una familia normal. Su madre sufre de esquizofrenia y su padre no fue fiel al matrimonio. 21 meses después del nacimiento de Carlos sus padres fueron a España para areglar la sucesión de los Reyes Catolicos pero nunca vuelven porque su padre murió en 1506 y su madre queda en España por su enfermedad.

Por eso Carlos tenía una relación muy fuerte y íntimo con sus hermanos. Con ellos creció y se educó en la Corte borgoña de su tía Margarita de Austria. Ella también era su tutela.