Este palacio de estilo herreriano se construyó en 1792, a poco más de cien metros del monasterio de San Lorenzo de El Escorial. Se levantó como lugar de residencia de Miguel López-Ximénez, barnizador y dorador de mate de cámara del Rey. A la muerte de aquél fue adquirido por los Infantes Carlos María Isidro y Francisco de Paula, hijos de Carlos IV.
A finales del siglo XIX pasó a titularidad municipal hasta que, en 1909, fue adquirido por el abogado José Peláez Urquina pasando a ser conocido como Casa de Peláez.