En las Tierras de Ayllón las rocas han condicionado enormemente la arquitectura tradicional. Sobradamente conocidos son los pueblos rojos y negros que emplean como materiales constructivos los conglomerados ferruginosos y las pizarras respectivamente. Las explotaciones de estas rocas y de los minerales en ellas presentes han sido una actividad económica destacada de esta comarca a lo largo de su historia.

En el piedemonte, la ausencia de afloramientos rocosos y la abundancia de tierras arcillosas han provocado el uso sistemático de adobes y tapial en las construcciones. Además, estas mismas arcillas han sido explotadas en diferentes tejeras.

La poca dureza del terreno a su vez ha favorecido la excavación de bodegas, sobre todo en las zonas de piedemonte y las llanuras del cauce medio del rio Riaza. En este sentido, es importante señalar que, desde el entorno de Maderuelo hasta el límite norte de la provincia, la composición geológica cambia. Afloran los estratos de calizas y margas que dan lugar a un paisaje en el que predominan las mesas y los páramos que son excavados por los diferentes cauces de agua. El ejemplo más característico lo encontramos en las Hoces del río Riaza, donde las aguas han horadado el terreno creando profundos barrancos.

Estos accidentes geográficos han sido determinantes a su vez para el control del territorio. Desde la prehistoria reciente se han buscado las posiciones más elevadas como lugares de asentamiento. Valgan como ejemplo las fortificaciones militares medievales que se encuentran en toda esta comarca.

Pero estas rocas calcáreas también se han empleado como materiales constructivos, no sólo en las viviendas humildes, sino también en las piezas ornamentales de las iglesias, sobre todo de estilo románico.