Se trata de una construcción muy pequeña que se levantó sobre un importante edificio de época romana. En 1644 el caballero veinticuatro de Córdoba Andrés de Morales y Padilla visitó el sitio de Castro el Viejo (Torreparedones) y describió la ermita de las vírgenes Nunilo y Alodia con su retablo en el que aparecían pintadas “junto a Nuestra Señora” y sobre ellas la escena de su martirio tal y como lo describió Eulogio de Córdoba en su Memorial de los Santos.  Estas dos jóvenes hermanas, fruto de un matrimonio mixto donde el padre era musulmán, pertenecían al grupo de mártires mozárabes del siglo IX que murieron defendiendo su fe ya que siguieron la religión cristiana que profesaba su madre. Al contravenir las leyes musulmanas fueron sentenciadas por el emir cordobés Abderramán II y decapitadas el 22 de octubre del 851. 

El templo cristiano se alzó sobre los restos de unas termas romanas conocidas como balneum calpurnianum y aunque se desconoce la fecha exacta de su construcción sí que la excavación arqueológica pudo documentar que al menos existía desde el siglo XVI. El terremoto de Lisboa de 1755 le debió ocasionar grandes daños ya que unos lustros más tardes, en 1772, el escritor Bartolomé Sánchez de Feria ya la describía en ruinas.

Aunque la hipótesis de que fuese en este lugar donde sufrieron martirio las dos santas no está del todo constatada, sí que pudiera haber ocurrido y por ese motivo edificarse la ermita que, junto a los bastiones más destacados del castillo, hizo que en Baena fuese siempre conocido este lugar como Torres de las Vírgenes.