Mandado edificar hacia 1440 por don Alonso Pérez de Vivero, vizconde de Altamira y contador de Juan II, este castillo-palacio originariamente torreado en sus esquinas acogió el 19 de octubre de 1469 el matrimonio de doña Isabel de Castilla y don Fernando de Aragón, en la denominada "Sala Rica". En 1475 los monarcas ordenan derribar torres y baluartes, compran la casa-palacio y la entregan a la Chancillería dándole un nuevo uso y transformando los salones palaciegos en salas de audiencia. El edificio conserva su vieja estructura de palacio gótico-mudéjar del siglo XV. Destaca el artesonado mudéjar de la sala principal. Actualmente, alberga el Archivo Histórico Provincial.