Por vocación, Carlos fue siempre un soldado, tenía un verdadero amor por las armas. Tenía mucho interés por el torneo y la equitación, así que a veces tomaba parte en torneos caballerescos, era un jinete muy resitente. Tenía gran afición por el ejercicio físico, especialmente por la caza (era un gran cazador), e incluso por el toreo. Cuando se celebraron en Valladolid los fastos por el nacimiento de Felipe, la gente asistió admirada a la lidia de un toro por parte de Carlos. También le gustaba la lucha. Esta herencia caballeresca se destacaba también en su gusto por las fiestas y los ceremoniales, la costumbre de los banquetes, a los que predisponía un apetito rayano a la glotonería. Su insaciable apetito sorprendía a todos, era también un gran bebedor de cerveza helada que ingería en enormes cantidades.
Le gustaban la lectura y la música, aficiones que pueden aparecer como herencia de su educación en la Corte de Malina, junto a su tía Margarita que tenía una gran cultura, en la que aprendió a tocar el clavicordio. Sentía afición a los relojes y a los mapas.