Durante la Guerra de los Cien Años, el Tratado de Brétigny ofreció Montauban a los ingleses. Luego comenzó la construcción de un fuerte en las orillas del Tarn, la orilla izquierda siguió siendo francesa.
En 1664, el obispo Pierre de Bertier decidió establecer su nuevo palacio episcopal sobre las ruinas del antiguo fuerte. Se convirtió en ayuntamiento después de la Revolución, y también alberga el primer museo municipal y la escuela de dibujo.
