Además de Felipe IV y Velázquez, el tercer nombre al que está íntimamente asociada la memoria del palacio del Buen Retiro es Gaspar de Guzmán, conde-duque de Olivares (1587-1645). Cuando Felipe IV accedió al trono en 1621 tenía únicamente dieciséis años y delegó gran parte de las tareas de gobierno en Olivares, que contaba con treinta y cuatro y demostró una gran habilidad política y una extraordinaria capacidad de trabajo. Desde ese momento su poder fue en aumento, y en los años treinta había alcanzado cotas muy altas. De él partió muy probablemente la iniciativa para la construcción del palacio, que se levantó en terrenos de su propiedad con la intención de construir un marco adecuado para que la todavía poderosa corte española se manifestase en todo su esplendor.

El conde-duque ha tenido una notable fortuna iconográfica, a la que han contribuido artistas muy importantes, como Rubens o, sobre todo, Velázquez, que encontró protección en el todopoderoso ministro una vez que se estableció en la corte. Aunque a través de casi todas estas imágenes es fácil conocer el papel principal que desempeñaba dentro de la estructura del Estado, no hay ninguna que transmita de manera más nítida el poder y la autoridad que tuvo como este retrato ecuestre.

El estilo de la obra y la caída en desgracia de su modelo a principios de 1643 aconsejan fecharla durante los años treinta, tras el momento clasicista que sucedió al primer viaje de Velázquez a Italia. Dentro de ese marco cronológico se han planteado dos hipótesis. Las grandes semejanzas que guarda con la figura del duque de Feria a caballo, tal y como aparece en El socorro de Brisach de Jusepe Leonardo (P00859), sugiere que es anterior a esta obra, que fue pintada entre 1633 y 1635 para el Salón de Reinos. Algunos críticos, sin embargo, identifican la batalla que aparece al fondo como la toma de Fuenterrabía, un importante hecho de armas que tuvo lugar en 1638, lo que obligaría a retrasar la fecha. Extraña, sin embargo, que se trate de esa población, pues su característica más importante desde el punto de vista iconográfico es su carácter costero, y en el cuadro lo que aparece es un río cruzado por un puente.

No hace falta dar un nombre concreto a la batalla que está teniendo lugar al fondo para entender su significado y su función. Velázquez, que era muy sutil a la hora de dotar sus obras de contenido y de describir a sus modelos, está representando en esta pintura no sólo al conde-duque de Olivares, sino también a un valido. Así lo demuestra la comparación de este retrato con el de Felipe IV, a caballo (P01178). El pintor representa al monarca majestuoso, ante un paisaje amplio, tranquilo y sosegado, expresando majestad real. Felipe IV era rey de forma natural, porque desde su nacimiento estaba destinado a ello. Eso no impide que como tal estuviera sujeto a una serie precisa de obligaciones. El valido, sin embargo, había llegado a ocupar esa posición gracias a su esfuerzo y al ejercicio de una serie de virtudes políticas, y eso se traduce en esta obra. El severo perfil de Felipe IV se transforma aquí en un escorzo, que aporta dinamismo y violencia a la composición. Esas cualidades están subrayadas por la actitud del modelo que, en vez de mirar impertérrito al frente, vuelve enérgico su mirada arrogante hacia el espectador, y también se enfatizan por la manera como jinete y caballo invaden casi todo el primer plano.

De Felipe IV sabemos, a través de su indumentaria y sus insignias, que tenía responsabilidades militares, de acuerdo con su condición de rey. En el caso de Olivares, el pintor necesita mostrarlas de una manera más explícita, y recurre a representarlo dirigiendo una batalla que se desarrolla al fondo, y que está descrita en términos muy realistas, pues no faltan caballos derribados y humaredas. El cuadro, que es la mejor expresión del poder que alcanzó su modelo en la época de construcción del Buen Retiro, fue pintado para el conde-duque. Ingresó en las colecciones reales en 1769, cuando Carlos III lo adquirió en la venta de los bienes del marqués de la Ensenada.