El palacio señorial del primer tercio del siglo XVI, es un ejemplar característico de la vieja casona segoviana, con portada plateresca decorada con columnas, medallones, geniecillos y los escudos nobiliarios de Arias Dávila y Osorio de Virués. El fundador de la estirpe de los Arias Dávila, Pedro, se había formado al lado del rey Juan II de Castilla .A principios del s XVI levantan este palacio como cabeza desde la cual controlar su señorío de bosques y tierras de labor. A posteriori reconvertido por la ley de Señoríos Jurisdiccionales en la actual Baronía de Hermoro. El palacio fue debastado por un incendio en 1907 siendo restaurado 4 años después. Actualmente pertenece a la familia del Marqués de Lozoya y es un alojamiento para celebraciones o eventos. Icono del cine español con el rodaje de ‘El espíritu de la colmena’’