Sus orígenes se remontan a 1923, cuando un grupo de devotos encabezados por el capellán de la iglesia de la Victoria, D. Juan Rodríguez Gutiérrez, se reúnen en torno a las imágenes de un Cristo Crucificado y de una Virgen Dolorosa que recibían culto en el Convento de las Madres Agustinas Descalzas.
El 30 de mayo de 1923 fueron aprobados sus primeros estatutos, firmados por el Obispo Beato Manuel González. En 1924 la Hermandad ingresó en la Agrupación de Cofradías. El Stmo. Cristo del Amor se procesionó por primera vez ese mismo año.
En 1931 obtiene el título de Real concedido por  S. M. Alfonso XIII. Ese año se otorga el título de Hermano Mayor Honorario a la Orden de San Agustín y se nombra a sus miembros Directores de Culto. Los Hermanos Maristas, su Colegio y ADEMAR, son también Hermanos Mayores Honorarios.
En 1935 se incorpora una advocación mariana al Título de la Cofradía. La actual imagen de Nuestra Señora de la Caridad data de 1948 obra de Francisco Buiza.
Tras un periodo en la Capilla Castrense (1948-1972), frente al Santuario, desde 1972, los Titulares  reciben veneración en la Basílica y Real Santuario de Santa María de la Victoria.