Mühlheim war von einer Stadtmauer umgeben, deren Reste, wie auch der Verlauf des Stadtgrabens, noch an einigen Stellen sichtbar sind. An den beiden Eckpunkten, sowie rechts vor dem Tor, stand früher je ein Turm. Bis 1718 gab es außerhalb der Stadtmauer keinerlei Bebauung. Das Tor war der einzige Zugang von Süden.