El inicio de la construcción del edificio tiene lugar en el primer tercio de del siglo XVIII por orden de D. Juan de Cuenca Mora Pacheco y Daza. La terminación del mismo debió concluirse momentos antes de 1742, fecha en la que nace en el palacio su hijo D. Antonio Rafael de Mora y Saavedra. Este personaje contrae matrimonio con trece años en Granada con Antonia Ruiz Salcedo y Olavarría. A los dieciséis años es hermano mayor de la Hermandad de Jesús de Nazareno, ubicada en la capilla del mismo nombre a pocos metros del palacio. Fue patrono de la misma hasta su muerte en 1783, siendo enterrado en esta iglesia. A los 18 años ingresa en la Real Maestranza de Caballería de Granada y es capitán del Regimiento de Caballería de la Orden de Calatrava y teniente coronel de las milicias de Málaga. Fruto de su matrimonio nació D. Juan María de Mora Pantoja Ruiz Salcedo, primer conde y propietario del Eros aparecido en 2010 en el palacio y expuesto en el mismo, así como el que creó el gabinete de antigüedades existente en el palacio. Con el tiempo don Antonio Rafael fue el primer conde de la Santa Ana de la Vega, tras la concesión del título por el rey Carlos IV el 23 de enero de 1805. El Real Despacho fue extendido a su hijo D. Antonio María de Mora y Castillejo, nacido en 1787 en Granada, y segundo conde, al no tener descendencia ya que su único hijo murió prematuramente, el título pasó a su sobrino, Juan Zárate y Mora, tercer conde desde 1865, hijo de María Dolores de Mora y Castillejo y Juan José Zárate y Vargas. El cuarto conde de Santa Ana de la Vega fue su hijo, Francisco Zárate y Vasco.  En 1820, según consta en el libro de riquezas del Ayuntamiento, el Palacio de los Condes de Santa Ana pertenecía por tercios al segundo conde, Antonio María Mora y Castillejo, a la condesa viuda, María Concepción Castillejo y Varona de Alarcón, y a Dª María de Gracia Mora y Castillejo.  Esta última persona se casa con un señor apellidado Lug, teniendo a su hija Concepción Lug Mora, propietaria del palacio y a su vez usufructuaria de la tercera parte de Antonio de Mora y Castillejo, sin herederos directos. La familia Mora residía habitualmente en Granada y utilizaba el  palacio como residencia vacacional y de descanso y puntualmente durante la Semana Santa y verano. En 1876 se pide amillaramiento del edificio a instancias de Ramón Bravo Sánchez, apoderado de Rafael Zarate y Vasco, hermano del cuarto conde de Santa Ana de la Vega, por valor de 10.627 reales y 18 céntimos (2.656,79 ptas.). La casa se vendió por Juan Manuel Lug Blanes, hijo de Concepción Lug Mora, posteriormente a Juan de Mata Burgos, siendo habitado el palacio por su hija Magdalena Burgos Valdecañas, hasta su muerte en 1975. Se desposó con Juan Torres Manjón-Cabeza, de donde viene el nombre de casa palacio de los Torres Burgos. Sus hijos y herederos, Jerónimo, Juan, Francisco, Pedro y Rosario, vendieron el palacio en la década de los años ochenta al Ministerio de Justicia.  

Situado en el Castillo del Moral, c/ Pasaje del Amor. Tlfo. 957 50 36 62 El Museo Arqueológico y Etnológico de Lucena se encuentra ubicado en el Castillo del Moral, edificio declarado Monumento Nacional el 3 de Junio de1931. El Museo tiene 10 salas en las que se expone la evolución de la vida de la tierra, la evolución física y cultural humana, la Cueva del Ángel, la cerámica, Lucena judía, mundo del metal, mundo ideológico, topografía y la ciudad de Lucena.

Los Condes de Santa Ana eran devotos de San Jorge, soldado romano que se estima que vivió entre los años 200 y 300 d. C., y cuya popularidad fue más acusada en la Edad Media. Se cree que San Jorge nació en una familia cristiana en torno al siglo III d. C. y que al cumplir la mayoría de edad, se unió al ejercito, al igual que su padre. Muy rápidamente ascendió hasta pasar a formar parte de la guardia personal del emperador romano Diocleciano, el cual lanzó una orden de persecución contra los cristianos por todo el Imperio. San Jorge se negó a participar en dicha persecución y dio a conocer su condición de cristiano, por lo que el emperador decidió torturarle y finalmente ejecutarle por medio de la decapitación. Dicen que soportó la tortura sin una sola queja. Llegó a oidos de la emperatriz Alejandra el sufrimiento de San Jorge y por ello decidió convertirse al cristianismo. Durante los siglos IV y V d. C. la veneración al martir ascendió notablemente y fue canonizado en el siglo V d. C. por el Papa Gelasio I. Hacia el siglo IX d. C. aparece una leyenda en torno al santo, conocida como la leyenda de “San Jorge y el dragón” y en la cual se relata que, en la fuente de donde se abastecía de agua la ciudad, un dragón puso un nido, por lo que el pueblo no podía saciar su sed. Para poder obtener agua, los habitantes de dicha ciudad ofrecían cada día un sacrificio humano elegido al azar entre la población. Un día le tocó el turno a la princesa del pueblo y justo en el momento en el que iba a ser devorada por el dragón, apareció San Jorge encima de un caballo blanco, rescató a la princesa y venció a la bestia. Gracias a esta hazana, los habitantes de la ciudad abandonan el paganismo y se convierten a la religión cristiana. Esta historia ha dado lugar a multiples interpretaciones, dependiendo de la cultura en la que se relate la historia. En Europa se extiende el culto a San Jorge en la Alta Edad Media, en la época de las caballerías y las cruzadas. En España concretamente pasó a ser patrón de la Corona de Aragón y de Portugal.  

“El Eros Dormido” es una pieza escultorica romana realizada en marmol de Carrara, que fue hallada durante las obras de rehabilitacion del Palacio de los Condes de Santa Ana en mayo de 2010. La pieza representa al dios romano del amor, dormido sobre la piel del león de Nemea y con un ramillete de adormideras en el costado. Su tamano es de 59 cm de largo por 33 de ancho y esta datada en el siglo II d. C. Esta pieza posee de un gran valor artístico y es un referente del arte romano. El Eros forma parte de la colección de antigüedades que tenía en propiedad la familia de los Condes de Santa Ana. Junto a esta pieza  tambíen formaba parte del conjunto la denominada "Venus Lucifera" y un fragmento del brazo de la diosa Diana. El Eros se oculto de manera intencionada a principios del siglo XIX y fue encontrado en el quicio del vano de acceso a la actual sala del Cómics.