Si Juana llegaba a enterarse o a sospechar de alguna infidelidad o desliz de su esposo, se lo reprochaba aun en público, sin recatarse de armar grandes escándalos. Esto empeoró aún más la situación y los ecos de tales sucesos llegaron hasta España en donde fue motivo de gran preocupación.
Aunque Felipe de Habsburgo, o Austria, ha pasado a la historia con el sobrenombre de “ el Hermoso” – que es posterior a sus días y que llevaron no pocos príncipes como su propio cuñado Filiberto II de Saboya o los reyes Felipe IV y Carlos IV de Francia-, parece que hay testimonios de ciertos defectos físicos como una visible cojera. Pese a su fama de galán rodeado de amantes, nos puede sorprender que, padre de seis hijos habidos con su esposa, no haya dejado ningún hijo ilegítimo como sí hicieron, y en considerable número, su padre, su suegro y su heredero, por no hablar de su bisabuelo el duque de Borgoña Felipe el Bueno, a quien se atribuyen una veintena de vástagos nacidos fuera del matrimonio.