为此，烟客翁在润州逗留期间，几次托人去同张家商量，望能出让那幅《秋山图》。但张氏无论如何也不肯答应。听所托的人讲，那位脸色苍白的主人说：“既然先生那么中意这幅画，可以借予，但要出让，碍难从命。”这让心高气傲的烟客翁多少有些郁郁不快。此何言哉！现在且不找你借，但等来日，定入我掌中。翁心里这样盘算着，终于没去借《秋山图》，便离开了润州。
过了一年，烟客翁又去润州，重访张家。墙上的藤蔓和院里的青草，都一如往昔。可是，听应客的小厮说，主人不在家。翁说，不见主人不妨，只求再看一眼《秋山图》。求了几次，小厮一味以主人不在挡驾，不让进院，最后竟关上大门，理都不理了。烟客翁也无可奈何，心里只管想着这荒宅所藏的名画，怅然而回。
后来又见到元宰先生，先生对烟客翁说，张家不仅有大痴的《秋山图》，还藏有沈石田的《雨夜止宿图》《自寿图》等杰作。
“上次忘了告诉，这两幅同《秋山图》一样，可谓画苑的奇观。我再写封荐书，您务必去看一看。”
烟客翁当即差人赶到张家。去的人除了带上元宰先生的手札，还带了一笔求购名画用的款子。但张氏同前次一样，唯有黄一峰这幅画，无论如何不肯脱手。至此，烟客翁对《秋山图》，唯有断念，实别无良策。
