La gran devoción hacia Nuestra Señora de los Prados se remonta a los supuestos milagros que ocurrieron en Garganta de los Montes, en los años en los que la peste bubónica se cebó con sus vecinos: según la leyenda, la enfermedad abandonó el pueblo dos meses antes que al resto de la comarca. La actual ermita se encuentra en el lugar donde antiguamente se asentaba una capilla en honor a la Virgen de los Prados, del siglo XVII, desaparecida a principios del XIX. Su construcción ha recuperado tradiciones como la Romería de la Virgen de los Prados, que se celebra el domingo más próximo al día de San Pedro, el 29 de junio. La imagen de la Virgen se lleva a hombros desde la iglesia de San Pedro Apóstol, en el centro de Garganta de los Montes, hasta la ermita, para realizar allí la fiesta y propiciar un día de campo. La Virgen permanece allí todo el verano hasta que es devuelta al pueblo con la llegada del otoño.