Se encuentra situado a la salida de la población, a la izquierda de la carretera que conduce a Torrejón de la Calzada y al camino de Toledo. El Obispo de Palencia, Gutiérrez Gómez de Toledo pudo ser el que mandó llevar a cabo la construcción del castillo entre 1432 y 1440. Tuvo una importante remodelación en 1460, debido a un largo asedio, se produce un cambio de manos en la titularidad del señorío, que pasa a gozar además de importantes favores reales: ferias y mercados libres de aranceles. Corresponde este momento con la segunda fase constructiva del castillo, erección de la nueva Torre del Homenaje, de lienzos exteriores de piedra, el muro oeste con los tres torreones, y algo más tarde con modificaciones de las troneras de las torres para permitir la instalación de artillería de mayor calibre.