En 1576 Fabio Nelli de Espinosa, banquero vallisoletano hijo del acaudalado banquero sienés Alfonso Nelli, manda construir este palacio. El edificio se presenta como símbolo del poder, riqueza y cultura de su propietario, acorde a la idea renacentista de permanecer en la Historia. El resultado es un bello exponente de la arquitectura clasicista vallisoletana.

Juan González de la Lastra elabora los planos en 1576. La portada, obra de Pedro de Mazuecos en 1595, tiene motivos platerescos e introduce elementos de inspiración italiana: fachada simétrica con dos torres y acceso en el centro en línea con la entrada al patio. Las pretensiones del rico banquero quedaron plasmadas en el arco del triunfo romano que acoge la fachada, símbolo de poder, y en los motivos que representan la riqueza de su linaje (angelillos victoriosos, cestos con fruta, el dios del vino Baco o una máscara al gusto italiano). Sobre la portada se grabó la enigmática inscripción ‘Soli deo honor et gloria’ (Solo a Dios honor y gloria)

Posteriormente se añadirá el escudo del Marqués de la Vega, propietario del palacio y nieto de Fabio Nelli.

La escalera fue diseñada por Pedro de la Maza. En su ejecución, los artistas experimentaron los nuevos principios arquitectónicos que conducen al clasicismo, destacando el patio interior, de columnas en tres de sus lados, la escalera principal y la portada enmarcada por dos torreones.

En 1967 se restauró el edificio para albergar las colecciones de Arqueología y Bellas Artes del Museo Arqueológico Provincial, hoy Museo de Valladolid.