Durant la guerre de Cent Ans, le traité de Brétigny offre Montauban aux Anglais. Débute alors la construction d’un fort au bord du Tarn, la rive gauche étant demeurée française.
En 1664, l’évêque Pierre de Bertier décide d’établir son nouveau palais épiscopal sur les ruines de l’ancien fort. Devenu hôtel de ville après la Révolution, il accueille également le premier musée municipal ainsi que l’école de dessin.