Hijo del influyente pintor neoclásico José de Madrazo, Federico de Madrazo y Kuntz nació en Roma, donde su padre servía al rey Carlos IV en el exilio. Fue bautizado en la basílica de San Pedro del Vaticano y apadrinado por el príncipe Federico de Sajonia. Se trasladó con su familia a Madrid cuando su padre pasó a ser pintor de cámara de Fernando VII, en 1819. Formado en la Academia de San Fernando
Goya nació accidentalmente en Fuendetodos, pueblo de su familia materna. Braulio José Goya, dorador, de ascendencia vizcaína, y Gracia Lucientes, de familia campesina acomodada, residían en Zaragoza, donde contrajeron matrimonio en 1736. Francisco fue el cuarto de seis hermanos: Rita (1737); Tomás (1739), dorador también, citado a veces como pintor; Jacinta (1743); Mariano (1750), muerto en la inf