Según la leyenda, un leñador cortó en tiempos coloniales un árbol del Fundo Palo Colorado cerca del poblado de Quilimarí, descubriendo en las manchas interiores del tronco una imagen similar a la Virgen María, que se apresuró a mostrar a la comunidad religiosa y que fue interpretada como un milagro, levantándose una ermita en el lugar y comenzando el culto representado en peregrinaciones y celebraciones con baile y rogativas. El trozo de madera con la Virgen del Palo Colorado, que es paseado por algunas casas de la localidad durante su fiesta, en el resto del año es custodiado celosamente dentro de la Iglesia de Quilimarí. El carácter de esta fiesta es fuertemente zonal y propio de la identidad de la provincia.