El edificio perteneció a una familia hacendada de Bailén, que lo vendió al Excmo. Ayuntamiento en 1984. Restaurado y habilitado como Casa de la Cultura, fue inaugurado como tal en julio de 1987 por D. Cristóbal López Carvajal (Presidente de la Excma. Diputación Provincial de Jaén) junto a las autoridades locales.
El centro cuenta con sala de Exposiciones, Biblioteca pública Municipal, Sala de Lectura, Salón de Actos y otras dependencias donde se ubican el Conservatorio de Música, la Escuela Municipal de Música, Talleres y otros espacios dedicados a la cultura.