Durante la Guerra de los Cien Años, el Tratado de Brétigny ofreció Montauban a los ingleses. Se inició entonces la construcción de un fuerte en las orillas del Tarn, quedando la orilla izquierda para los franceses.
En 1664, el obispo Pierre de Bertier decidió establecer su nuevo palacio episcopal sobre las ruinas del antiguo fuerte. Se convirtió en el ayuntamiento después de la Revolución, y también alberga el primer museo municipal, así como la escuela de dibujo.