武后对事情总不会忘记。褚遂良虽然去了，但对长孙无忌、韩瑗、来济的宿怨还没有了。她还记得有人反对册立她为后，有的人不置可否，有的超然局外。许敬宗把一切事情都奏明给她，大臣的一切她无不知道。比如说，长孙无忌就是超然局外的，一言不发。他不屑于涉身政事，与史官国子祭酒令狐德棻编辑《武德贞观二朝史》。还有些人置身事外，不肯参加合作。武后最恨的就是思想独立，最不能容忍的是别人和她的意见不同。韩瑗和来济都是元老重臣，耿介刚正，忠言直谏，不懂谄媚逢迎，不知道遇事立即与武后意见一致。高宗这个丈夫，天生的优柔寡断，毫无魄力，不但对武后没有帮助，简直是武后的累赘，正当春秋鼎盛之年，虽然看来还不像一只已经朽废的破船，但是已经各处松散吱嘎乱响了。武后喜爱秩序规律，而她看来，朝廷上却是杂乱无章的一团。
现在到了武后巩固自己的力量，建立一个由自己控制的政权的时候了。曾记得武后讲那个悍马的故事，还有铁鞭子、铁锤子和利剑吧？现在她要用那根铁鞭子，把全朝廷鞭打成个新样子。像马戏团里一样，她先要摆出个架子，把鞭子噼啪打几下儿。
侍中韩瑗是将挨这第一鞭子的，这因为武后的真正用意是要消灭太尉长孙无忌。但是无忌是皇帝的股肱，最有威望的人，不容拉拢为己用。武后并不插手就去对付无忌，这是她政治手腕高妙的明证。因为无忌是众望所归的重臣，必须先把别人消灭，让无忌孤立起来。
韩瑗给了武后第一个机会。他竟敢奏请高宗赦免褚遂良的罪。因为褚遂良遭受贬谪，韩瑗的良心上始终不安。等待了一年之后，他以为作为一个朋友，作为朝廷的侍中，当朝廷对贤能之士处置有失公正之处，他应当奏请矫正，申雪冤屈。太宗时代的政风，有些仍然存在，贤良之臣对于国事，对于朝政，乐于固执己见。如有必要，即使冒犯君主，失去官位，亦在所不惜。
一天，韩瑗细心缮成一本，上朝奏称：“朝廷贬谪贤良之臣，向为政风败坏之征。遂良殚毕生之力以事先王，廉洁自矢，光风霁月。先帝引为知己，视同兄弟。遂良不言则已，言必公忠体国，荩言谠论，先帝受益亦多，是以临终选择，以受遗诏。此事陛下尽知，固不待臣之哓哓也。臣承恩充侍中，夙夜警惧，深恐小有不慎，贻大患于来日。今正义不行，贤臣远谪，臣纵欲默默，岂可得乎？”他接着又从历史上引证实例。他说国家之衰亡，政治之腐败，皆因为疏远贤直忠谏之臣。古代贤主明君莫不奖励伟论，渴望忠言。因此深望高宗皇帝效法先帝。他结论称：“遂良虽有忤君之罪，然已受有一年之苦。陛下其怜而赦之乎？”
韩瑗也许不知道武后正坐在帘后，也许根本并不在乎。他奏完之后，皇帝说：
“你说的话我很敬佩。只是我以为你把事情看得太严重。我知道遂良为人正直，不过对我过于无礼。他对我如此大不敬，我贬谪他难道错了吗？”
韩瑗斩钉截铁地回奏说：“臣意不以为然。一国之兴，在于选用忠良之臣，在使忠良之臣能在其位。问题是究竟陛下需用奴才，还是需用人才。所谓一蝇之微也会使白布玷污。如今臣深惧小人之势长，君子之道消矣。”韩瑗一时失口，竟引用不得体古语，“《诗经》上说：‘赫赫宗周，褒姒灭之。’臣不愿见唐室之衰亡也。”引用周朝亡国的褒姒，这个典故太不妥当了，话说得太不机敏，不够圆滑。这似乎是公开侮辱武后。朝议之时，武后不声不响，不过她的缄默倒更为凶险。韩瑗的命运算是注定了。
高宗怒吼说：“你下去吧！”
韩瑗十分沮丧，回家之后，修本辞官，但是皇帝不准。他这次求高宗赦免褚遂良，反倒使褚遂良立即被贬往更远的地方——广西桂林。虽然唐室组织机构依然如故，看来唐室的灭亡，已经开始了。
次年，韩瑗、来济，被控结交燕王忠，图谋造反。因为武后定了一个庞大计划，要把反对她的人完全罗织在内。她记得前太子燕王忠，在十三岁时被废，孤苦伶仃，无人照顾，生母出身卑微，义母王皇后又死去，情形极为特殊。心想利用燕王忠，诬他僭图皇位，以他为中心人物，设计一个阴谋，把韩瑗、来济，一切与自己相左的人，一网打尽。只要与自己意见不合，只要妨碍自己野心的，都归入燕王忠一党，都算是叛国奸贼。于是，此后几年，在朝廷的政治上，都以这个孩子为中心，将忠良之臣，罗织株连。可怜燕王忠还不满二十岁，惨遭迫害，恐怖万分，只觉得一条性命，朝不保夕。
韩瑗流配琼崖，在广东海南岛，夷民之地，蛮烟瘴雨之乡；来济则流配百越。
此种流放，皆由皇帝随意决定，无须许敬宗特别提供罪名。罪名也许确实可靠，也许子虚乌有，如果确实可靠，燕王忠自然无法逃命，韩、来二人也势必被斩首处死。罪证确凿与否，并不关重要。有证据也罢，无证据也罢，许敬宗知道武后全力支持他。韩瑗流配之后，许敬宗就升任了侍中之职。
不幸，这还不算呢。许敬宗接着煞费苦心，诬构案情，最后坚称这个阴谋造反的领导人物是褚遂良，在广西桂林发动的，并且说这就是韩瑗位居侍中之时，为什么要将褚遂良送到桂林的理由。后来褚遂良更遭远谪，远离了皇权的文教之邦，到了爱州（今越南清化）。遂良修了一个表，简短而动人，追叙当年高宗在太宗灵前即位之时，痛哭失声，伏在遂良肩上。遂良自恨有忤圣意，请求高宗赦免他的罪，准他安度晚年。表奏上去，如石沉大海，毫无消息。
一年之后，遂良病故，葬在爱州。两子也贬在爱州，也先后病故。王皇后的舅父柳奭也在远谪后丧身异乡。这都是反对武氏册立为皇后的结果。这也正好表示出武氏一贯的手腕，反对她的不得善终。褚遂良，刚毅忠贞之士，功在国家，竟落了个如此凄惨的下场。