Para hablar del patrimonio artístico, tenemos que referirnos a la casa de Alba en su conjunto, teniendo en cuenta que la época del duque de Alba sólo fue el principio de una gran acumulación de obras de arte que llega hasta nuestros días muchísimo más ampliada y en posesión de la actual duquesa de Alba: María del Rosario Cayetana Fitz-James Stuart.
La colección de arte de los Alba es una de las más grandes de España, aunque por diversos avatares no conserva todos los tesoros que pasaron por ella.
Fue iniciada por Fernando Álvarez de Toledo y Pimentel. En esta época, la documentación menciona obras de Domenichino, Gentileschi, Ribera, Velázquez, Rafael o Correggio. Más tarde, en el siglo XVIII ingresan importantes lienzos encargados a Raphael Mengs y, gracias al mecenazgo de XIII Duquesa de Alba, amiga y modelo de Goya, se enriquece con varios lienzos de este artista, entre los que destaca el retrato de la Duquesa.
El fallecimiento de la Duquesa supuso el desmembramiento de casi toda la pinacoteca. Algunas obras pasaron a manos de Godoy, otras las legó la Duquesa a diversos allegados, y su sucesor el Duque Carlos Miguel apenas recibió una treintena de obras. De todas formas, el nuevo Duque adquirió en un largo viaje por Europa piezas de Fra Angélico y Rembrandt.
En el siglo XIX, la colección se completa por algunas obras inglesas a las que, ya entrado el siglo XX, se suman pinturas de Madrazo, Sorolla, Zuloaga y Sotomayor, así como algunas piezas del impresionismo francés adquiridos por la actual Duquesa.
El Palacio de Liria, en Madrid, contiene la mayor y más valiosa parte de la herencia cultural de los Alba. Más de 30.000 libros conforman la biblioteca, destacando la famosa Biblia de Alba de 1433, primera traducida al castellano o 21 documentos autógrafos de Cristóbal Colón.
En la pinacoteca lucen pinturas de Tiziano, Rubens, Goya, Velázquez, El Greco o Rembrandt, del que conserva uno de los 15 paisajes que pintó a lo largo de su vida. Además está todo el jardín del Palacio de Liria sembrado de estatuas y tumbas de animales.
En definitiva, una de las colecciones de arte más valiosas de nuestro país.