Don José Álvarez de Toledo y Gonzaga (1756-1796), XI marqués de Villafranca y XV duque de Medina Sidonia, fue primogénito de don Antonio Álvarez de Toledo, X marqués de Villafranca y nieto de los XII duques de Medina Sidonia, y doña María Antonia Gonzaga y Caracciolo, que pertenecían a una de la más elevada alcurnia de la aristocracia española. Casó en 1775 con la heredera del ducado de Alba, María Teresa Cayetana de Silva y se comprometió con el duque de Alba, el abuelo de su mujer, a llevar en primer lugar ese título de alcurnia tan elevada como la suya, en concreto el de XIII duque de Alba, para que no se perdiera, aunque no tuvieron descendencia.

El duque fue gentilhombre de cámara de Carlos IV y en 1789 fue elegido gran chanciller y registrador mayor de las Indias con voz y voto en su Consejo de Cámara. Recibió en 1789 la orden de Carlos III y, en 1791, la del Toisón de Oro. A los honores reales, el duque de Alba unía otros de distinto carácter como los de consiliario de la Real Academia de San Fernando, caballerizo mayor de la Maestranza de Córdoba y hermano mayor de la cofradía de la Santa y Real Hermandad del Refugio y Piedad de Madrid. Ejemplo de aristócrata de la Ilustración española, don José Álvarez de Toledo fue miembro de varias de las nuevas sociedades ilustradas, las Reales Sociedades Económicas de Amigos del País: de la Vascongada, la primera que se creó en España, desde marzo de 1777, y de la de Sevilla desde enero de 1778.

Entre sus aficiones figuraba la equitación y la música, siendo un excelente intérprete de viola. Se reunía para hacer música con el infante don Gabriel, hermano del rey y excelente clavecinista, y probablemente con el mismo Carlos IV, aficionado al violín. Desde el decenio de 1780, el duque estuvo en contacto con Haydn a través de su agente en Viena, encargándole numerosas partituras, y precisamente de este compositor sostiene el volumen que incluye, según la cuidada inscripción de Goya, "Cuatro Cancs / con Aconp.to de Fort p.^o / del S.r Haydn.". Aunque es difícil la identificación de esas canciones, seguramente se trataba de obras recientes de Haydn, como los "VI Lieder beim Clavier zu Singen. Die Musik ist von Herrn Joseph Haydn", de la editorial Artaria de Viena (Hob. XXVIa: 13-24), de 1784, aunque reeditadas en 1794, o quizá de las "VI canzonettas" inglesas (Hob.XXVIa: 25-30), de 1794, sobre poemas de Anne Hunter. La referencia al "del S.r Haydn" ("des Herrn Haydn)" en la partitura de Goya sólo existía en las publicaciones de la editorial Artaria.

La elegante y distendida actitud refleja las descripciones contemporáneas de su persona, que refieren su serenidad y temple, mientras que su rostro, de mirada viva e inteligente, se dirige al espectador con simpatía y afecto. Vestido con un elegante traje de montar, según la moda francesa, está acodado a una mesa de gabinete, y no sobre un fortepiano como se repite en la bibliografía desde que así lo describiera Charles Yriarte en 1867. El duque, que era, según le describía el barón de Maldá en 1784, "de rostro tirando a moreno, de mediana estatura, cumplidamente afable", aparece aquí en su faceta privada, sin lucir ni el Toisón ni la banda de Carlos III, pero como jinete experto y músico experimentado, capaz de dominar sus caballos o de interpretar la música llena de dificultades de Haydn, dotando el retrato de un carácter simbólico todavía plenamente neoclásico.

En noviembre de 1795, año en que se fecha el retrato, el duque había sido propuesto como primer ministro por el célebre navegante Alejandro Malaspina, en la conjura para derribar a Godoy que inició a su regreso a España. Es posible que el duque no estuviera al tanto de los planes de Malaspina, pero cayó igualmente en desgracia, pues la represión de la conjura coincidió con su enigmático retiro a sus tierras de Andalucía, donde murió inesperadamente el 12 de junio de 1796 en brazos de su esposa, la duquesa de Alba.

El artista unió la naturalidad en la representación de su modelo con el ambiente grandioso, de elegancia y sofisticación en que vivían los duques, en el palacio de la calle del Barquillo en Madrid, que había recibido las alabanzas del erudito Antonio Ponz en su Viaje de España.

Las medidas originales del retrato, reveladas recientemente por la radiografía y confirmadas por la limpieza del cuadro (195 x 115 cm), dificultan la idea, mantenida tradicionalmente en la bibliografía, de que el retrato hubiera sido pareja del de su mujer vestida de blanco (Fundación Casa de Alba, Madrid) que, aunque de la misma fecha, debió de tener un destino diferente.