从前，有一群仙女变成白天鹅从天而降，飞到余吴湖上，她们在湖南岸戏水时，一名男子对仙女产生爱慕之意，便让狗偷走一件仙女羽衣。因此，一名年轻的仙女因没有羽衣而无法飞行，这名留在人间的仙女成了该男子的妻子，并生养了4个孩子。之后，身为母亲的仙女发现羽衣并穿上飞回了天宫。该传说中，挂仙女羽衣的柳树便是这棵树。