王小知道“观棋不语真君子”的古训，一直呆呆地出神观看。半晌之后，实在耐不住饥肠如鼓，就向老翁要了一个桃子充饥。太阳落山了，两位老翁握手言和，而后手持拂尘向阁楼走去。王小猛然想起羊群还被扔在大石坎下，于是就急急忙忙循来路走出洞外。
一出洞口，王小惊得一屁股坐在了地上。羊群都不见了，崖坎下的羊鞭也没有了。在他插柳木棍子的地方是一棵合抱粗空了心的大柳树，正在秋风中飘落着金黄的柳叶。再看山上山下，不仅是季节变了，一切都不是来时旧样。这可太奇怪了，王小捶胸顿足，后悔莫及；羊不见了，回去如何向东家交待？寻思了半天，无计可施，只好还是沿着小道走回村去。到了村口，一看牌楼上分明还是写着原来的村名，只是牌楼下的石柱都已被太阳晒得变成了白色。王小进村后找不到一家相识的人，只好向路边的一位白发老者求问：“大爷，您老可知道咱村有个叫王小的放羊人吗？”
