江戸期の大名であり、建築家や造園家をはじめ、茶・華・歌にもひいでた小堀遠州の出生地です。小堀遠州は天正5年（1577年）、小堀の生まれで、日本を代表する庭園といわれる大徳寺の孤篷庵や桂離宮の庭園の作者として知られています。
また、茶道を利休の高弟であった古田織部に学び、晩年には、三代将軍家光の茶道師範をつとめました。建築家、歌人としても有名。