Dentro del recinto amurallado de Ávila se encuentra el Palacio de Polentinos de estilo plateresco se construyó en el siglo XVI por encargo de la familia Contreras siendo residencia en el siglo XVIII de Maria A. de Contreras y Santisteban, marquesa de Olivares y su esposo Francisco J. de Colmenares y Fernández de Córdova, conde de Polentinos.

Desde 1875 está vinculado al Ejército, inicialmente como Academia del Cuerpo Administrativo del Ejército y desde 1911 hasta 1992, con un breve paréntesis entre 1931 y 1939, como Academia de Intendencia.
Las enseñanzas se imparten actualmente en la Academia General Militar en Zaragoza.

Hasta 1992 fue la sede de la Academia de Intendencia junto al cuartel de El Pradillo y en la actualidad es la sede del Archivo General Militar de Ávila y desde 2011 del Museo de Intendencia.