Iniciado hacia 1515 a expensas de Alonso Pimentel, V conde de Benavente, intervino en su construcción el cantero García de Entrambasaguas. Se concluye en 1520. Tuvo, en su origen, carácter de fortaleza y vocación de palacio real. El Conde también encargó la construcción de jardines y estanques que no han llegado a nuestros días.

En 1555 fue sede de Cortes, en 1559 alojó a Felipe II y en 1601 se convirtió en residencia temporal de la familia real durante la estancia de la Corte de Felipe III en la ciudad. Aquí nacieron Ana Mauricia y María, hijas de Felipe III.

Conoció su mayor esplendor y extensión hacia mediados del siglo XVII, siendo propiedad del virrey de Nápoles, don Juan Alfonso de Pimentel, conde-duque de Benavente. Después de dos devastadores incendios en los que se perdió buena parte del edificio, este entró en desuso hasta que, ya en el siglo XVIII, se destinó al asilo de niños expósitos y, años después, sumó a esta tarea las de sede de las Casas de Maternidad y Misericordia. Así continuó hasta los años 70 del pasado siglo XX. Desde 1990 es sede de la Biblioteca de Castilla y León.