Commandé en 1515 par Alonso Pimentel, V comte de Benavente. Le tailleur de pierre García de Entrambasagua participa à sa construction et terminé en 1520. Au début il avait un air de forteresse et de palais royal. Le comte commanda aussi la création des jardins et des étangs que nous pouvons admirer de nos jours.

En 1555 il fut le siège du Parlement, en 1559 la résidence de Philippe II et en 1601 la résidence temporaire de la famille royale durant le séjour de la Cour de Philippe III à Valladolid et les filles de Philippe III, Ana Mauricia et María y sont nées.

Lorsqu’il appartient au vice-roi de Naples, Juan Alfonso de Pimentel, comte-duc de Benavente, au milieu du XVII siècle, il jouit de sa plus grande splendeur et extension. Après deux terribles incendies, une bonne partie de l'édifice disparaît et il est abandonné. Ce n'est qu'au XVIII siècle qu'on le récupère comme hospice pour les enfants abandonnés puis quelques années plus tard il sera le siège des Casas de Maternidad et Misericordia (Maisons de la Maternité et de la Miséricorde), et ainsi jusqu´en 1970. Depuis 1990 c´est le siège de la Bibliothèque de Castille et León.