相传唐末黄巢起义时，足迹几乎踏遍全国，经过浙江，即想从杭州取道临安进军皖南。此时吴越国王钱镠已经从盐枭投军当上军队小头目，听说黄巢提着大军前往临安，就在临安附近，伏击黄巢先头部队。因为出其不意，侥幸将先锋头目击毙，军心大乱，纷纷后退。黄巢査问原因，原来是谍报人员误听人言，认为钱镠兵驻此有八百里之多，急忙退兵，到留下地方休息宿夜。再次探问前线消息，始知上当受骗，因此大怒，下令将留下男女老少全部杀尽，以出怨气。退却之日，繁华的镇市，只剩下姓张的3家，姓李的4家，姓王的5家，姓赵的6家，共计18家，后来这个地方，就叫作留下。杭州的谚语里，也留下了张三李四王五赵六的说法。

留下离杭州市区仅20公里，水路畅通。因为人烟稀少，不少荒田变成芦荡，只靠打鱼采菱为生。这个地方，一向以生产方柿闻名。城中风雅人士，因西湖无芦花，每逢三秋时节，纷纷雇船到西溪观赏芦花，尤以离镇六七里的秋雪庵与交芦庵，为游客必到之地。秋雪庵中，祀清代浙西有名的词人厉鹗（号樊榭）。厉鹗晚年隐居西溪，死后，他的姬人月上，亦出家为尼。庵中不塑佛像，惟在楼厅设词人神位，以供后人凭吊。交芦庵中，亦类似农家，但登楼可以远望一片芦花。近年来农业生产日事改良，芦花荡早已改造成为高产良田，过去种种凄凉景况，已经不复存在。但秋风蟹熟时节，西溪所产的柿子，则已愈来愈多，远销各地。

离留下五六里向南行，可去白龙潭瀑布探胜。瀑瀑布水源不旺，必须在春水泛滥时前往，方能见其磅礴之势。惜四近无休息之所，为旅客引为憾事。