En la actualidad la historiografía es bastante confusa respecto a la fundación de la Cofradía del Padre de La Caridad. Mientras algunos autores la sitúan pasada la mitad del siglo XVI, otros la colocan en el primer lustro del siglo XVII. Diego Díaz de Pedrajas, el Hermano Mayor del año 1604, sería uno de sus principales impulsores.

Se trata de una Cofradía asistencial a cuyo cargo estaba el “Hospital de La Caridad” o “Casa de La Caridad” a partir de 1596. Entre sus fines estaba la asistencia a enfermos y pobres. Su gestión duro casi todo el siglo XVII hasta la puesta en marcha del Hospital de IHS. Se sostiene con censos, pero principalmente con las limosnas y donaciones testamentarias de generaciones de pozoalbenses.

A finales del siglo XVIII comienza un amplio letargo. De momento no hay datos suficientes de esa centuria y parte de la siguiente. Desde finales del XIX y hasta 1935 sigue recibiendo culto y procesiona en la tarde del Viernes Santo en el Entierro Magno.

La mañana del 15 de agosto de 1936 es destruido el Titular de manera ignominiosa. A partir de 1942 concurren intentos de procesionar que parecen fracasar, pero el mecenazgo de las hermanas Moreno Pozuelo consigue la restauración de los cultos internos que se prolongan al menos hasta la década de los 1980. En el año Jubilar (2000) se reorganiza con el nombre de Cofradía del Santísimo Cristo de la Caridad en su Vía Crucis.