En un periodo concreto de la historia, entre los siglos V y VI, un grupo de eremitas llegaron al valle de Valdegovía en Álava para llevar una vida ascética y contemplativa en este paisaje solitario de bosques, ríos y arroyos. Estos eremitas aprovecharon los abrigos rocosos de la zona para construir unas cuevas que les sirvieran como cobijo, además de templos para el culto, horadando para ello pacientemente la roca, al igual que hicieron los eremitas que construyeron las cuevas de Laño y Santorkaria en el condado de Treviño.