“暂停征棹，聊共引离尊。多少蓬莱旧事，空回首，烟霭纷纷。”少游在船上正待启程之际，那位女子却匆匆赶来送别，设宴饯行。这情景让人想起了柳永《雨霖铃》中的“都门帐饮无绪，留恋处，兰舟催发”。临别之际送行，免不了要回忆往事。“蓬莱旧事”此处当是指两人难忘的那些往事。据胡仔《苕溪渔隐丛话后集》卷三十三记载，“蓬莱阁”旧址在今浙江省绍兴市龙山下，秦少游曾经寓居于此，与一个歌姬发生了恋情。“空回首，烟霭纷纷”，那些缠绵的往事在回首之际已是茫然如烟，与苏东坡“春梦了无痕”有同感。
“斜阳外，寒鸦数点，流水绕孤村。”分手离别的一刻，他们把视线移向远方，只见天际斜阳照射着几点寒鸦，弯弯河水绕着孤零零的荒村。这几句化用隋炀帝杨广“寒鸦千万点，流水绕孤村”的诗意，正是凄寒清旷的深秋晚景，让人顿生“断肠人在天涯”的孤寂凄凉之感。《诗人玉屑》卷二十一中引晁补之评这几句词时所说的：“虽不识字人，亦知是天生好言语。”