A finales del siglo XVII, Juan Valverde construyó una capilla callejera en las inmediaciones del puente, en ella se dio culto a un Crucificado bajo la advocación del Perdón La devoción a la Virgen de los Dolores la introdujo Martín Federico, que fundó un Rosario nocturno en 1747, conocido como Hermandad de los Tiñosos. Al no tener otro lugar para ello, solicitó permiso para depositar la imagen de la Virgen en la Capilla del Crucificado, disolviéndose posteriormente el Rosario.
En 1927, por razones urbanísticas fue demolida la antigua capilla, trasladándose la imagen de la Virgen al otro lado del río, donde la Archicofradía de la Esperanza le labró una pequeña capilla en la fachada este de Santo Domingo, que ha subsistido hasta 1992, año en que se procede a construir la que actualmente ocupa.
La etapa actual de la Cofradía parte de su reorganización en 1982, siendo en 1987 cuando se bendijo la imagen del Stmo. Cristo del Perdón, realizándose ese mismo año la primera Salida Procesional en la noche del Lunes Santo. El día 31 de Octubre de 2004, la imagen de Nuestra Señora de los Dolores fue Coronada Canónicamente por el Obispo de nuestra Diócesis en la S.I.C.B.