Ce palais a été bâti de 1532 à 1540 en s'inspirant de la Renaissance italienne. Il porte le nom de Granvelle, illustre famille de la région. En effet, le palais a été construit pour Nicolas Perrenot, seigneur de Granvelle, qui fut garde des sceaux et premier conseiller de l’empereur Charles Quint. Son fils Antoine, né en 1517, a travaillé lui aussi au service de l’empereur puis de son fils, Philippe II d'Espagne. Les Granvelle rassembleront dans leur résidence bisontine d’importantes collections d’art et de livres. Ces trésors seront inventoriés au XVIIe siècle par l’abbé Boisot, qui exprimera la volonté de les rendre accessibles à tous. Ils formeront la première collection publique en France et seront à l’origine de la bibliothèque et du musée des Beaux-Arts de Besançon, plus ancien musée de France. Le palais connaîtra les fastes tant qu’il restera la propriété de la famille. Mais à la suite de l’extinction de la lignée, en 1637, il subit de lentes dégradations. Après la conquête française de 1674, le bâtiment sera loué et mis à disposition des gouverneurs. Louis XIV y sera accueilli en 1683, ce qui lui vaut le titre de « Louvre » durant son séjour. En 1712, le palais devient propriété de la ville et connaît une intense activité culturelle. Il héberge l’Académie de Musique, la salle de la Comédie et l’Académie des Sciences, Belles-Lettres et Arts.
Cour intérieure du palais Granvelle Mais le bâtiment continue de se dégrader. Sous la Révolution, il est vendu à un particulier et, durant le XIXe siècle, sert d’immeuble locatif. Classé monument historique en 1842, il est racheté en 1864 par la municipalité. Eugène Viollet-le-Duc, alors inspecteur des Monuments historiques, visite l’édifice en 1870. Immédiatement, il voit grand: le bâtiment est superbe, conçu pour abriter des œuvres d’art, pour accueillir les musées de la ville… Mais son projet est coûteux. D’autres projets voient le jour (comme le transfert de l’hôtel de ville). Finalement, dans les années 1950, le musée d’Histoire de la Ville s’y installe. De modestes campagnes de restauration vers 1920 et 1960 ne régleront pas les importants problèmes de toiture et de structure.La dernière décennie du XXe siècle représente un véritable tournant dans la gestion et la valorisation de ce prestigieux édifice. De 1990 à 1997, la restauration des toitures est réalisée. La belle toiture en tuile vernissée est reconstituée et sa charpente en chêne révisée.