"Kamenná Lhota" s pohledovou dominantou na vrchol hory sv. Antonínka,  se připomíná už v roce 1366 jako součást ostrožského panství. Od počátku byla vinařskou obcí, a i když byla dvakrát zcela vypálena, mohla se v roce 1669 pochlubit 37 ha vinohradů. V polovině 18. století se v Ostrožské Lhotě starali už o 56 ha vinic. V průběhu 19. století došlo k  útlumu a v roce 1900 zde zůstalo zachováno jen 21 ha vinic. V obci působí folklorní skupiny Háječek a Kameňáček a dechovka Rozmarýnka, které zde udržují staré lidové tradice - pořádání svatoannenských hodů či pochovávání basy. Pěkným zpestřením místního (i regionálního) kulturního života je aktivita zdejších mažoretek.