Una excavación arqueológica de la UPV/EHU sitúa la primera ocupación del castillo de Berbeia, en Valdegovía, en los siglos VI y VII. Se trata del castillo de Berbeia, situado en 849 metros de altitud y que, a diferencia de otras fortificaciones medievales vascas, carece de construcciones monumentales o grandes sistemas defensivos.

En un periodo concreto de la historia, entre los siglos V y VI, un grupo de eremitas llegaron al valle de Valdegovía en Álava para llevar una vida ascética y contemplativa en este paisaje solitario de bosques, ríos y arroyos. Estos eremitas aprovecharon los abrigos rocosos de la zona para construir unas cuevas que les sirvieran como cobijo, además de templos para el culto, horadando para ello pacientemente la roca, al igual que hicieron los eremitas que construyeron las cuevas de Laño y Santorkaria en el condado de Treviño.