Los primeros datos de la Cofradía de Nuestro Padre Jesús Nazareno se fechan en 1770, la componían 24 cofrades que organizaban la procesión y el Sermón de la Pasión. Las primeras actas que se disponen a día de hoy son de 1864, lo que hace pensar que a mediados del siglo XIX las distintas cofradías que tenían su sede en Santo Domingo se fusionaron en una única Cofradía con el nombre de Nuestro Padre Jesús Nazareno. Según está acta, por aquel entonces ya procesionaban, en andas, las imágenes de Jesús Nazareno, San Juan, la Soledad, la Verónica y el Niño Jesús. Más tarde, tras los tristes años de la Guerra Civil, la Cofradía empezó casi de cero. La Iglesia quedó en pie, pero las imágenes y retablos fueron destruidos. Los directivos que sobrevivieron realizaron la primera asamblea general en 18 de marzo de 1940. Y ya en esa Semana Santa pudieron desfilar las imágenes adquiridas de Jesús Nazareno, la Soledad y San Juan, siendo prestada a las cofradías de la Vera-Cruz y de la Soledad la imagen nueva de la Virgen para ese año. Desde entonces hasta la actualidad, la Cofradía ha ido ampliando su patrimonio y la fe por el pueblo de Villanueva de los Infantes contando con un total de 850 cofrades.