有魏武侯玄孙曹叔良及居民，竞来瞻礼。时宝林古寺，自隋末兵火已废。遂于故基，重建梵宇，延师居之。俄成宝坊。师住九月余日，又为恶党寻逐。师乃遁于前山。被其纵火焚草木。师隐身挨入石中得免。石今有师趺坐膝痕及衣布之纹，因名“避难石”。师忆五祖怀会止藏之嘱，遂行隐于二邑焉。
无尽藏尼姑告诉大家慧能是有道之人后，许多人前来赡礼拜访和请教，人数一多，家里就挤不下了，正好附近有一座隋朝末年被战争毁废的破庙，这样，以曹叔良为首的地方乡绅出钱修建，很快就焕然一新，请慧能住持。慧能住了九个多月，又被恶党强盗寻找追逐。慧能无奈隐藏于前山，又被恶党纵火焚烧草木，不得已藏身于乱石之中才躲过了灾难。那块石头一直存在，至今还留下了慧能盘腿打坐的痕迹，这石头也被后人称之为避难石。慧能这时想起了师父弘忍大师送别时说过的话“怀会止藏”，于是慧能便隐藏在怀集县和四会县之间。
有人看到这儿就问：“慧能大师已经开悟成佛，至少是菩萨，已经有了大神通，为什么还东躲西藏？”《坛经》中确实描写很多处神通，但我们既没有必要否认它，更不应该相信它。因为它不是《坛经》的主题。这个故事告诉我们，慧能开悟成佛后仍然是一个正常的人，而不是神。它与普通人不同的是，在遇到困难、遇到无妄之灾时的态度，没有报怨、没有恐惧，更没有针锋相对的报复，而是看清事情的本质，以平等心去对待。