La imagen del rey en este retrato se basa en un tapiz diseñado por Jan Cornelisz. Vermeyen (ca. 1504-1559) y en un cuadro de Tiziano (1488/90-1576). El diseño de la figura y el caballo repiten el retrato de Carlos V que se incluye en el tapiz La marcha de Rada, perteneciente a la serie La conquista de Túnez, diseñada por Vermeyen entre 1546 y 1554 aproximadamente.

Rubens pudo conocer esta famosa serie de tapices en 1628-29 durante su visita a la corte española, donde se encontraba, o a través de otras réplicas o de estampas. Los únicos cambios que ha hecho Rubens respecto del tapiz de Vermeyen conciernen al rostro del rey y a algunos detalles de su armadura. Rubens ha cambiado a Carlos V por su hijo Felipe II y lo ha hecho basándose en el retrato de este rey en armadura pintado por Tiziano en 1551, del que sabemos que Rubens realizó una copia durante su estancia en Madrid.

No conocemos la razón que llevó al pintor a realizar el cuadro, ni sabemos cuándo ni dónde lo hizo. El rostro de Felipe II es tan similar en su aspecto y proporciones al pintado por Tiziano que Rubens debió de utilizar algún método mecánico para transferirlo al retrato ecuestre. Esto, sin embargo, no demuestra que el cuadro se pintase en la corte española.

Rubens pudo regresar a Amberes con los apuntes necesarios para realizar allí el cuadro. La probabilidad de que así fuese deriva de la existencia de copias de este cuadro que parecen, por su estilo, hechas en Flandes, y de hecho la preparación que se ha encontrado en el lienzo contiene carbonato cálcico, mucho más común en Flandes que en España. La imprecisión con que Rubens pintó la parte de la armadura que cubre los muslos (llamada quijote), que no está en el retrato de Tiziano, también sugiere que el cuadro se pintó lejos de Madrid, donde hubiese tenido acceso a la armadura. El contexto que mejor explica el origen de este cuadro es el de los retratos ecuestres de miembros de la familia real que Felipe IV encargó en las décadas de 1620 y 1630. El rey trasladó del palacio del Pardo al Alcázar el retrato del Emperador Carlos V, a caballo, en Mühlberg de Tiziano y encargó un retrato ecuestre de sí mismo a Velázquez para colgar en la misma sala (desaparecido). A Rubens le encargó otro retrato de sí durante la estancia del pintor en Madrid (desaparecido), retrato que sustituyó al de Velázquez. En la década siguiente encargó a Velázquez y al escultor Pietro Tacca sendos retratos ecuestres de sí mismo (P1178), además de retratos de su hijo Baltasar Carlos, de su esposa Isabel de Borbón y de sus padres Felipe III y Margarita de Austria (P1180, P1179, P1176 y P1177). Además, en la Casa de Campo había una estatua ecuestre de Felipe III, obra de Giambologna y Pietro Tacca (Plaza Mayor de Madrid). La única figura a quien se echa en falta en este grupo de retratos repartidos por los palacios reales durante el reinado de Felipe IV es la de su abuelo Felipe II. La estancia de Rubens en Madrid bien pudo llevar al rey a encargar dicho retrato, aunque el pintor tuviese que acabarlo en Amberes.

Otra posibilidad es que el encargo partiese de Isabel Clara Eugenia, gobernadora de los Países Bajos meridionales e hija de Felipe II, en nombre de su sobrino el rey Felipe IV, para quien Rubens trabajaba como consejero y como pintor.

Este cuadro se documenta por primera vez cuando aparece en el inventario del Alcázar de Madrid en 1686. El cuadro fue ampliado en sus extremos superior e inferior en algún momento del siglo XVIII. Ha sido restaurado y restituido a su dimensión original mediante el doblado de las secciones añadidas detrás del bastidor, en 2009 (Texto extractado de Vergara, A. en: El arte del poder. La Real Armería y el retrato de corte, Museo Nacional del Prado, 2010, p. 216).