El Casón, junto con la Iglesia de los Jerónimos y el Museo del Ejército, es uno de los tres vestigios sobrevivientes del Palacio del Buen Retiro, edificado por Felipe IV en la década de 1630. El proyecto del Casón fue realizado por el arquitecto Alonso Carbonel que entregó las directrices para su construcción en 1637 .

En la actualidad, el edificio está completamente enmascarado por las reformas que tuvieron lugar durante el último tercio del siglo XIX, incluyendo sus dos fachadas monumentales, proyectadas en esta época por los arquitectos Mariano Carderera y Ricardo Velázquez Bosco.

El edificio desempeña diferentes funciones a lo largo de la historia:

1834 -1877 Cámara del Estamento de Próceres (precedente del actual Senado)

1877 -1960 Museo de Reproducciones Artísticas

1960-1971Salas de exposiciones temporales, de la dirección general de Bellas Artes

1971- 1997 Se adscribe al Museo Nacional del Prado para la exhibición de sus fondos del siglo XIX procedentes del Museo de Arte Moderno.

1981-1992 Exposición del Guernica de Picasso ( hoy en el Museo Nacional Centro de Arte Reina Sofía)

1997- 2006 Realización de las obras de restauración de la bóveda y ampliación de los espacios.

2007 Apertura del Casón habilitado para dar cabida al futuro Centro de Estudios del Museo de Prado, incorporando los departamentos de Conservación y Biblioteca.