Židovská synagoga byla postavena v roce 1875 a sloužila bohoslužebným účelům početné židovské obce až do druhé světové války. Dne 22. června 1941 byla budova přepadena skupinou gestapa a místních členů Vlajky a totálně zdemolována. Zasvé vzalo veškeré vnitřní vybavení, varhany, křišťálový lustr, bohoslužebné náčiní, matriky, otlučeny byly židovské symboly. Trosky byly polity benzínem a zapáleny, ale protože se nepodařilo celou budovu vypálit, žhářský pokus byl zopakován 12. srpna. Hasičským sborům nebylo povoleno hořící budovu hasit, a tak vydrancovaná synagoga zůstala v ruinách. V listopadu téhož roku tyto ruiny zakoupilo město za 30.000 korun a určilo je ke zbourání.

Po druhé světové válce bylo rozhodnuto, že budova bude místo zbourání zrekonstruována jako kulturní dům. Sídlit zde měla Slovácká filharmonie, pěvecké sdružení Svatopluk a veřejná knihovna. Rekonstrukci provedli brigádnicky členové těchto organizací. Veřejná knihovna zabírala přízemí budovy a byla otevřena v září 1951.
Z původního interiéru synagogy se dochovaly pouze zdobené nosné litinové sloupy.

Dne 7. března 1966 celá budova vyhořela. V následujících dvou letech podstoupila další rekonstrukci a od této doby všechny její prostory slouží výhradně veřejné knihovně. Během ničivých povodní v červenci 1997 bylo přízemí knihovny zaplaveno vodou a celá budova utrpěla značné škody. V letech 1998-1999 z tohoto důvodu podstoupila rekonstrukci interiérů.