Dos años después del segundo casamiento del rey Felipe II, con su tía segunda María Tudor, Isabel de Osorio, la puta del rey, seguía manteniendo una apasionada relación con éste. Pero sin embargo, sabedora de que su amor por el rey nunca podrá ser pleno, tenía pensado aislarse y concebía la construcción de un palacio señorial en el que pudiera vivir tranquilamente. Así, decide comprar al Consejo de Haciendo la jurisdicción civil y criminal de la zona de la vega del río Ausines, entre Olmo Salbos, Cojóbar, Saldaña y Sarracín.