Barokní budova staré pošty, ve které je dnes umístěna Galerie Slováckého muzea, byla postavena původně jako císařská zbrojnice v letech 1721 - 1723 podle plánů Jacoba Albla a Leandra Anqisoly. Po zrušení městské pevnosti sloužila jako skladiště, lazaret a poštovní úřad. Vstupní portál je zdobený vojenskými atributy, Budova je doplněna půlkruhovou věží, v jejímž plášti je původní dřevěné schodiště spirálovitě vybíhající přes obě podlaží až do půdních prostor. Další významnou cenností je dochovaná nástěnná kartuše pocházející z dílny Baldassara Fontany. Dokladem řemeslné zručnosti je trámový strop v prvním poschodí pravého křídla a zvláště pozoruhodný je půdní prostor (dnes výstavní sál s expozicí), kde je zachována barokní vazba krovů ve tvaru ondřejských křížů. Původnímu účelu - vojenské zbrojnici - přestala budova sloužit na počátku 80. let 18. století. Po mnoha různých využitích se budova dostala ve druhé polovině 20. století do majetku Slováckého muzea, které zde vybudovalo novou galerii (otevření pro veřejnost - 21. října 1962). Při druhé rekonstrukci (1990-92) byl objekt přizpůsoben současným požadavkům galerijní praxe, přičemž interiér byl vybaven novými technickými prvky. Třetí rekonstrukce (1997-98) byla nutností po povodních a stala se symbolem mimořádného úsilí o záchranu celého objektu (Galerie SM byla nejpoškozenější památkově chráněnou stavbou v oblasti Moravy).