临别时,柳永与谢娘依依不舍,两情缱绻。柳永在余杭任上三年,始终未忘与谢玉英之约。任满回京时,他专程到江州与她相会。不想那谢玉英居然又接新客,陪人喝酒去了。柳永心里十分惆怅,于是便在花墙上赋词一首,述三年前恩爱光景,又表今日失约之不快,最后道:“见说兰台宋玉,多才多艺善赋,试问朝朝暮暮,行云何处去?”谢玉英回来后,见到柳永词,叹他果然是多情才子,自愧未守前盟,就卖掉家私赶往东京寻柳永。
几经周折,谢玉英在东京歌女陈师师家找到了柳永。两人久别重逢,种种情怀难以诉说,于是便再续前缘。谢玉英就在陈师师东院住下,与柳永如夫妻一般生活。后来柳永出言不逊,得罪朝官,仁宗罢了他的屯田员外郎一职。从此,柳永出入青楼舞馆,衣食都由歌儿舞女们供给,只求他赐一词以抬高身价。他也乐得以填词为业,自称“奉旨填词柳三变”。
柳永尽情放浪多年,身心俱伤,晚年居名妓赵香香家。一日,赵香香在家做了个白日梦,梦见一黄衣吏从天而下,说:“奉玉帝意旨,《霓裳羽衣曲》已旧,欲易新声,特借重仙笔即刻便往。”柳永醒来,即要沐浴更衣,对赵香香说:“适蒙上帝召见,我将去矣。各家姐妹可寄一信,不能候之相见也。”言毕,瞑目而坐。香香视之,已死矣。一代词魂就这样飘然而去。