Está situado frente al Baluarte de la Candelaria. Con la dirección del ingeniero militar Silvestre Abarca (1707-1784), finalizó su construcción en 1760 y su objetivo era la de servir de vivienda a los ingenieros militares de la plaza. De estilo neoclásico, la fachada está decorada con pilastras y en su interior existe un patio con crujías y arcos sobre columnas de mármol, es notable también su escalera y la esbelta torre. En 1806 se le añadió una torre con la finalidad de instalar un telégrafo óptico para las comunicaciones militares.
En 1846 el que fuera Pabellón de Ingenieros pasó a ser residencia del Gobernador Militar y Gobierno Militar hasta el 24 de octubre de 1994.
Tras unos años cerrado el edificio pasó a depender del ayuntamiento que tras su reforma es desde 2003 el Centro Cultural Reina Sofía en donde se encuentra concejalía de Cultura, la Fundación Joly, la Real Academia Hispanoamericana, la colección Vasallo y el legado Aramburu.