El origen de la primitiva imagen de la Virgen de la Encarnación se remonta a los primeros años de la conquista de Tenerife y posterior colonización de la zona. Esta talla apareció en el lugar costero de La Enramada, donde recibió culto por primera vez.Más tarde fue trasladada a Garachico.

Según el Libro de Milagros de Nuestra Señora de la Encarnación, los vecinos de Adeje, que lloraban la pérdida de su imagen,se hallaron con esta otra de Nuestra Señora de la Encarnación. El pueblo adoptó la nueva talla, que fue venerada primero en una cueva en El Humilladero y luego en una ermita construida junto al mar,puesta bajo su advocación, que hoy como ermita de San Sebastián. En la actualidad existen en esta zona dos ermitas, una del siglo XVI y la otra del Siglo pasado. Debido a las incursiones de los piratas,Pedro de Ponte trasladó la imagen de la Virgen de La Encarnación a la Iglesia de Santa Úrsula de la Villa. El traslado tuvo que efectuarse antes de 1583, año en que murió Don Pedro de Ponte.