L' hôtel du Bouteiller était possédé à titre de fief, à partir du 12e siècle, par l'un des grands officiers attachés au service de l'archevêque appelé le bouteiller ou l' échanson. A la fin du 16e siècle, l' édifice (situé 2 rue des Granges) est reconstruit par Claude de Jouffroy, seigneur de Marchaux, sous la direction probable de l' architecte dijonnais Hugues Sambin, alors à Besançon pour ériger une partie de l' hôtel de ville (actuel palais de justice). La façade principale, qui porte la date 1582, est ornée d' une série de sentences morales en latin, dont "Ne souhaite pas la louange, mais mérite la", "c' est vraiment d' un esprit royal et grand que d' entendre dire du mal de ce qu' on a fait de bien", "Tais-toi", "Le travail dure peu...", ou encore sur le portail d' entrée de la cour "Achève ou ne commence pas". Dans le courant du 17e siècle, l' hôtel passe entre différentes mains : Jean de Varry alias colonel Gaucher, Claude-Antoine Buson d' Auxon, puis Claude-Amboise Philippe, qui meurt en 1698. Son fils Claude-Bruno Philippe, président à mortier au parlement de Franche-Comté, le transmet par testament en 1724 à sa fille unique, mariée à François-Bonaventure Jobelot de Montureux. En 1741, ceux-ci confient l' extension de l' hôtel (actuel 4 rue des Granges) à l' architecte bisontin Jean-Charles Colombot. La nouvelle partie, en continuité avec l' ancienne (la façade sur rue étant un parfait pastiche de celle du 16e siècle), est bâtie à l' emplacement des anciens communs comprenant également un logis appelé auparavant la maison Rantechaux. En 1768, Joseph-Luc Jobelot de Montureux demande la permission à la ville d' ouvrir une fenêtre sur la façade latérale droite, en même temps que certaines pièces de l' étage étaient décorées de lambris et de cheminées de style Louis XVI. La baronne de Saint-Juan hérite de l' hôtel à la mort de son oncle à la fin du 18e siècle. Les Saint-Juan rénovent plusieurs pièces dans la 1ère moitié du 19e siècle et modernisent la cage du grand escalier. Dans les années 1840, le service de la voirie supprime sur la partie de façade du 16e siècle le perron à volées symétriques d' une porte qui donnait dans la rue des Granges. Entre le 19e et le 20e siècle, l' ensemble du rez-de-chaussée de la façade principale et d' une partie de la façade latérale droite est dénaturé par la création de plusieurs boutiques dont l' une située à l' extrémité gauche a conservé une devanture en bois caractéristique du 19e siècle avec des pilastres cannelés encadrant la porte d' entrée. Au 20e siècle, la cour et les galeries ont été encombrées de bâtiments parasites.
    L' hôtel, bâti sur un sous-sol voûté en berceau, est situé sur une grande parcelle d' angle entre les rues des Granges et Luc Breton. Il est constitué de deux parties : la plus ancienne, à droite, s' organise autour d' une cour, bordée par le logis principal (distribué par un escalier dans-oeuvre rampe sur rampe) et trois ailes étroites, en partie en pan de bois formant galerie à l' étage. L' aile sur rue est percée d' un portail d' entrée. Dans un angle, est située une tour avec un pigeonnier à l' étage. La seconde partie est distribuée par un passage cocher, à gauche duquel se trouve l' escalier d' honneur en maçonnerie avec rampe en ferronnerie. A gauche de l' édifice, et donnant sur une impasse, était situé l' ancien jardin de l' hôtel. La façade principale est en pierre de taille et tout le reste en moellon ou pan de bois enduit.