La Hermandad data de 1682, en un testamento en el que se habla de la “Hermandad del Santo Cristo de la Columna de la Iglesia de la Merced”. Hasta 1799 no volvemos a encontrar noticias relevantes, cuando la Hermandad convoca un concurso para realizar la imagen del Cristo, la cual se encargo a Francisco de Paula Gómez Valdivieso. La imagen no se procesionaria hasta bien entrado el siglo XIX.
Hay constancia documental de salidas procesionales a mediados del siglo XIX, asociada frecuentemente con otras cofradías mercedarias.
Tras un periodo de decaimiento en la actividad cofrade, resurge en los años 20 del siglo pasado.
La vinculación con el pueblo gitano tiene sus orígenes desde la fundación de la Hermandad, a la que pertenecían muchos integrantes del gremio de herreros.
En los sucesos de 1931 y 1936 la Hermandad pierde todo su patrimonio salvándose solamente los cuatro angelitos que tallara Valdivieso para la peana del Cristo, los cuales se siguen prosesionando  en la peana de la actual imagen de Nuestro Padre Jesús de la Columna.
La Hermandad que nunca había contado con una imagen mariana, incorpora a su título el de María Santísima de la O, en marzo de 1970.