Nació en Augsburgo y desde muy pequeño estudió pintura con su padre, Hans Holbein el Viejo, reconocido artista dentro de la tradición flamenca, notable por sus retratos. Junto con su hermano mayor Ambrosius, trabajó primero en el taller de su padre y posteriormente en el del hermano de éste, Sigmund Holbein.
Hacia 1515 Holbein el Joven y su hermano se instalaron en Basilea, Suiza, entrando en el taller del pintor Hans Herbst. Allí trabajó como ilustrador de libros, realizando xilografías para las portadas de varias obras y una serie de bocetos en tinta para el Elogio de la locura de Erasmo de Rotterdam.
En 1518, durante un viaje a Italia, descubrió las obras de los pintores del Renacimiento italiano Andrea Mantegna y Leonardo da Vinci. El impacto de estos y otros artistas sobre la obra de Holbein puede observarse en el modelado y la composición renacentistas de uno de sus primeros retratos, Erasmo de Rotterdam (1523, Museo del Louvre), en su famoso Cristo muerto, en La Pasión (ambos en el Kunstmuseum Basel de Basilea) y en el retablo de La Virgen del burgomaestre Meyer (Palacio del Gran Duque de Darmstadt, Alemania), todos ellos realizados entre 1519 y 1526.
En dichas obras se aprecia una soltura en el dibujo y una riqueza cromática características de las obras de los maestros del norte de Italia. En sus obras religiosas, Holbein unió esta riqueza de detalles y colores con la dignidad y la severidad en la caracterización propias de temas religiosos. En 1519 se casó con Elsbeth Binzenstock. En ese mismo año pintó el retrato de Bonifatius Amerbach, humanista y amigo del pintor. En 1520 recibió el derecho de ciudadanía, y al año siguiente obtuvo el encargo de decorar la nueva sala municipal de Basilea.
Entre 1523 y 1526 aumentó su actividad como ilustrador gracias a una serie de 51 dibujos sobre el tema alegórico medieval de la danza macabra (Danza de la Muerte), cuya autoría se dice que en un principio se encubrió para evitar represalias por sus ataques a la Iglesia. De dicha serie se conocen varias versiones grabadas, siendo la principal la impresa en Lyon en 1538. También diseñó una serie de grabados en plancha de madera para la traducción alemana de la Biblia de Martín Lutero.
La austeridad preconizada por la Reforma se fue apoderando de la sociedad suiza y disminuyó el mecenazgo artístico, por lo que, a pesar de su prestigio, Holbein se vio obligado a marcharse a Inglaterra en busca de nuevos encargos. Llegó a Londres en 1526 con cartas de presentación escritas por Erasmo de Rotterdam, entonces ya su amigo y protector, para importantes personajes de la época a los que habría de retratar y entre los que se incluye Tomás Moro.
Aunque efigió a varios personajes relevantes, no alcanzó el objetivo que deseaba (contactar con la familia real, los Tudor), y en 1528 regresó a Basilea. Se le encargó la ampliación de una obra anterior, Justicia (1521-1522), con la que había decorado la sala del consejo del Ayuntamiento. La ampliación de esta serie de frescos refleja su continuo crecimiento como artista; las nuevas composiciones, menos abigarradas que las ya existentes, logran un impacto de mayor dramatismo que las anteriores. Por desgracia, no se conserva intacto ninguno de los muchos grandes frescos que realizó en dicho ayuntamiento, en Inglaterra y en Alemania. Debe juzgarse su belleza partiendo de los bocetos y de las copias que artistas posteriores hicieron de sus frescos. Del año 1528 es su Retrato del astrónomo Nicolas Kratzer, amigo de Tomás Moro.
La escasez de encargos le obligó a intentar otra incursión en Inglaterra. En 1532 volvió a instalarse en Londres, donde finalmente consiguió cimentar su carrera como maestro retratista. Su retrato del estadista Thomas Cromwell le granjeó el aplauso de los círculos reales y, hacia 1536, fue nombrado pintor de corte de Enrique VIII.
Entre sus obras más significativas están los retratos de Enrique VIII de Inglaterra (c.1534-1536, Museo Thyssen-Bornemisza) y de su esposa Juana Seymour, este último destruido por el fuego en 1698, así como los de muchos personajes de la corte, entre los que se incluyen gran parte de las esposas de Enrique VIII (Retrato de Ana de Clèves) y su hijo Eduardo (más tarde Eduardo VI). Los bocetos preliminares de dichas pinturas, en los que combinaba tiza (gis) y tinta con otros medios, se cuentan entre sus obras más preciadas. Bastantes de estos dibujos fueron reproducidos en grabado por Wenze Hollar, en el siglo XVII. La colección real del castillo de Windsor posee 87 de los dibujos realizados por Holbein.
En sus últimos años, Holbein trabajó tanto en Basilea como en Londres. En una de sus estancias en Londres pintó el Retrato del mercader Gisze protagonizado por el mercader alemán Georg Gisze, hermano de Tiedemann Giese, en el llamado Stalhof, puesto de la Liga Hanseática en Londres.
Mientras Holbein trabajaba en otro retrato del rey Enrique, murió en Londres en 1543 durante una epidemia de peste. Hizo su testamento el 7 de octubre de 1543, y un documento adjunto, datado el 29 de noviembre, le describe como recientemente fallecido.
Holbein alcanzó una gran fama gracias a sus retratos realistas de personas y grupos, el detallismo de la piel, el pelo, los ropajes y la ornamentación, así como el talento para representar con exactitud cada una de las diferentes texturas, que no disminuían ni iban en detrimento de las características esenciales y de dignidad de sus retratados. Tal fue el realismo de su obra que su influencia sobrepasó los límites de la pintura. La pintura del Cristo Sepultado causó gran influencia en el escritor ruso Fëdor Dostoyevsky, tanto así que lo inspiró en su novela El Idiota.
Holbein también realizó miniaturas y contribuyó al gran arte renacentista de la pintura sobre vidrio con numerosos dibujos.