余呉湖に、たくさんの天女が白鳥の姿となって天から降り、湖の南の岸辺で水遊びをしていたところ、ある男性が天女に恋心を抱き、犬に羽衣を一つ、盗み取らせました。そのため若い天女の一人は、羽衣がないため飛び立てなかったため地上の人間となった天女は、その男性の妻となり、4人の子供を産みました。のちに天女である母は、羽衣を見つけて身にまとい、天に昇ったといわれています。この伝説で羽衣を掛けた柳がこの木です。