Carlos y sus hermanos, Leonor, Catalina, Fernando, Maria y Isabel, se educaban en la corte borgoña de su tía Margerita. El forma su inteligencia a lo largo de infancia con el francés que también fue su lengua materna y la lengua que se hablaban en el Corte. Eso significa que comunicaba con sus hermanos mediante el francés.

Carlos se educó muy religioso y tenía una fé fuerte durante toda su vida a base de que fue educado por Adriano de Utrecht, el futuro Papa, quién tambíen fue nombrado su maestro. Este Papa y su tía Margarita querían una educación humanistica para el con latín, historia, matemáticas y teología.

Aunque Carlos físicamente era un poco débil y enfermiza podría aprender las capacidades militares más importantes por su voluntad de hierro. Ya con 15 años fue declarado mayor de edad para que tía Margarita no pudo gobernar más porque fue más facíl influir a un niño como a su tía.

Carlos de Austria o de Habsburgo nacó durante la celebración de un baile en el palacio Casa del Príncipe (Prinsenhof) de Gante el 24 de febrero de 1500 como primero hijo de Juana I de Castilla y Felipe el Hermoso.

El 7 de marzo el niño fue bautizado Carlos en recuerdo a su bisabuelo y para seguir la tradición borgoña, aunque ella quería darle el nombre Juan en recuerdo a su hermano. Carlos tiene como padrinos a Margarita de Austria, con aquella el niño va a vivir durante sus primeros años, y a Margarita de York.

Su familia no era tan feliz y no les dan tanto amor a los niños como una familia normal. Su madre sufre de esquizofrenia y su padre no fue fiel al matrimonio. 21 meses después del nacimiento de Carlos sus padres fueron a España para areglar la sucesión de los Reyes Catolicos pero nunca vuelven porque su padre murió en 1506 y su madre queda en España por su enfermedad.

Por eso Carlos tenía una relación muy fuerte y íntimo con sus hermanos. Con ellos creció y se educó en la Corte borgoña de su tía Margarita de Austria. Ella también era su tutela.