五台山有一座著名的寺院，叫做殊像寺。明天启六年，在寺后西北角一个偏僻的地方，建造了一间 客堂。此客堂被后来的清庭三公主看中了，把它改为“善静室”，作为“习 静”之处。三公主为那拉氏 所生，清世祖顺治的妹妹，康熙的姑妈。相传，清室定鼎后，为羁縻有力的汉大臣，便将三公主嫁给 吴三桂之子吴应熊（当地人讲是吴应龙）。因吴三桂叛清，康熙勒令将吴应熊及其子世霖绞死，那时候 ，由于受“妇女要守节”的封建道德信条约束，三公主不能再另嫁他人，于是来五台山殊象寺。当时殊 象寺被誉为“瑞象天然”，是五台山很有名气的寺院。当时寺内有一青年和尚，因遭失恋的打击，心灵 受到重创，怀着一颗灰冷的心，来到这里削发为僧。由于这位青年和尚仪容非凡，精通内典，所以常和 三公主在“善静室”研讨以文。久而久之，流言四起，说他们之间有了“爱恋”。这话传到京师康熙的 耳朵里，认为有损皇族声誉，于是派专人来到五台山殊象寺放火焚寺，策谋将她俩和寺院同归于烬。但 出人意料，大火燃烧三天，全寺片瓦无存，唯三公主和那位年青和尚“坐静”的“善静室”却巍然独存 。“善静室”之所以独存，康熙认为这是文殊菩萨证明他们之间无“爱恋”一说，甚为欢喜，即用巨款 重建殊像寺。
重建后的殊像寺，有人提议，把寺名改成“清白寺”或“无瑕寺”，以示三公主的清白纯洁。由于 五台山是文殊菩萨道场，“殊像寺”即意味着寺院里有文殊菩萨的塑像，故重建后的寺院，仍叫殊像寺。