Hace muchos años, en Brihuega en la época árabe, contaban las personas mayores que había en el pueblo un hidalgo llamado D. Alonso de Medina. Aunque tenía pocos ingresos, vivía muy feliz en su casa solariega junto a su hermosa hija. Esta hija era la doncella más bella y preciosa nacida en la Alcarria, y cuentan que se llamaba Elisa.

Don Alonso se construyó un huerto junto al Tajuña, donde cultivó, amén de las rosas más bellas de la Alcarria, las más ricas hortalizas de esta vega. Se trataba de un paraje recóndito y escondido, en un recodo del río, cubierto de resistentes chopos, cubierto de algas y juncos, y protegido por unas cuantas rocas para protegerse de miradas indiscretas, era el lugar perfecto para refrescarse, con el agua cristalina.

Este noble pasó gran parte de su tiempo contando alegremente, sin exagerar, las mil batallas en las que decapitó enemigos con su espada, escaló castillos con sus piernas y desgarró sus banderas con sus manos.

Todos los buenos jóvenes de Brihuega, que los había en gran número quedaron prendados con los encantos de la joven, al igual que los niños que admiraban las hazañas de la nobleza. Pero he aquí que en aquel tiempo los árabes eran los dueños del castillo, y su alcalde llamado Abul se enamoró de esta doncella, y se propuso lograr por la fuerza lo que nunca podría lograr voluntariamente.

Contaban en Brihuega que un día, mientras la bella y casta Elisa se disponía a tomar un baño, el malvado Abul la atacó como si fuera una fiera salvaje. Inmediatamente, reaccionó ante la sorpresa y utilizó todos los medios para proteger su pureza.

Cegado por la ira y la malicia, Abul hundió su daga en la hermosa Elisa, y su cadáver que yacía postrado sobre una piedra la pintó de color bermejo. Se sabe que Abul, al ver la belleza muerta, se arrojó al río y el diablo se llevó su alma al infierno.

El hidalgo D. Alonso murió de pena, y los brihuegos recogieron esta piedra, coloreada con la sangre de Elisa, y la pusieron como piedra angular de su castillo. Esta piedra desde entonces se llama "de la Piedra Bermeja" y se puede ver en la pared de la izquierda, a la entrada del castillo, dando nombre a la fortaleza.

Desde entonces, se dice que cada año el 15 de agosto, día de la Virgen de la Peña, patrona de Brihuega, la piedra adquiere un color rojizo aún más fuerte.