Comenzado a construir en 1630, el palacio tuvo su origen en la orden dada por Felipe II a Luis de Vega de crear un cuarto real en torno a la iglesia de San Jerónimo, al que el monarca pudiera retirarse durante los periodos de cuaresma, penitencia o luto. En 1629 Felipe IV, por sugerencia de su valido don Gaspar de Guzmán, conde-duque de Olivares, decidió ampliarlo, y utilizó para ello los terrenos de la finca que ese mismo año el privado le había cedido en las inmediaciones del convento jerónimo