En 1676, la precaria situación de muchos sacerdotes pobres y ancianos, que se veían obligados a mendigar para sobrevivir, lleva a Justino de Neve, junto con otros ilustres personajes sevillanos, como el arzobispo Ambrosio Ignacio de Spínola (1632-1684), a impulsar la creación de esta Hermandad y la construcción, entre 1676 y 1695, del Hospital de los Venerables Sacerdotes. Este Hospital, cuyas dependencias –iglesia, refectorio, enfermería, celdas, etc.– se estructuraban en torno a un gran patio central, es una de las numerosas fundaciones de caridad surgidas a raíz de la crisis económica en la ciudad de Sevilla y reflejo de la nueva orientación caritativa de la Iglesia. Además de proteger y alimentar a los sacerdotes desamparados, el Hospital daba cobijo a los clérigos peregrinos.

El edificio albergó cuatro pinturas de Murillo, ninguna de las cuales permaneció en Sevilla tras la retirada de las tropas napoleónicas en 1813: el Retrato de Justino de Neve, legado por él mismo a la institución con el deseo expreso de que los sacerdotes rogaran a Dios por su alma; La Virgen y el Niño repartiendo pan a los sacerdotes, que fue encargada a Murillo para que colgase en el refectorio; y otros dos lienzos ubicados en la iglesia, La Inmaculada Concepción de los Venerables, adquirida por la Hermandad en 1686 a la muerte de Neve y mostrada aquí por primera vez desde 1813 con su marco original (conservado in situ en el Hospital), y el San Pedro penitente, que no se exponía al público desde el siglo XIX.