当天晚上，几个大臣在无忌府第商议废立之事，无忌的挚友也在内。那天下午很晚的时候，听说中书令柳奭被免了职。柳奭是王皇后的舅父。由此看来，武氏是认真动起手来了。
无忌说：“柳奭竟被免了职！”又问褚遂良说：“咱们明天怎么办？”
“咱们怎么办？当然是坚持，不让步。我的职责清清楚楚摆在眼前，没有妥协。”
长安令裴行俭（后来为名将）一样怒气冲冲。他精通数学阴阳之理，深晓祸福之道。他说：“这种事情若任其发生，就是毁灭之始了。”
第二天早朝，情势显得很紧张。众人正在等候进去的时候，听说裴行俭又遭免职。因为昨天晚上在无忌府里聚会，袁公瑜也在场，会后他连忙把裴行俭的话告诉了武氏的母亲杨夫人。
褚遂良很难过。他说：“这又走了一个了。”他泰然而冷静，告诉其余的人说，他一定要制止此种措施，不然就辞官归隐，或是宁遭贬谪流放——这些他都不介意。他的所作所为，自己心里清清楚楚。
大臣们又鱼贯入朝，脸上紧张严肃。高宗开口引用孟子的话说：“不孝有三，无后为大。王皇后未给朕生得一男。武宸妃生了男孩。朕意已决。”
褚遂良迈步向前，在宝座之下叩头。手里拿着象牙朝笏。
“将先帝的遗言提醒陛下，这是臣的职责。臣所承诺于先帝的话不能遗忘。若是圣意已决，臣已无话可说。今将朝笏敬还陛下。尚求陛下赦臣之罪，臣只有如此而已。”
他把朝笏放在宝座之前，在地下叩头出声，以示强烈抗旨之意。
高宗颇为吃惊。遂良态度傲慢，语气粗暴。
突然，帘幕之后传出尖锐刺耳之声：“斩此老贼！”虽是女人的声音，却无娇柔之气，朝廷之上都能听见。
无忌奏称：“遂良因为职责所在，不得不言，不可加罪。”
高宗下命令：“拉出去！”
突然间，又跟昨天一样散了朝。褚遂良被贬为潭州都督，潭州远在湖南，乃山中小县。遂良赴任而去，良心清白，无愧于中，毫无怨尤。至于来日如何，仍在茫然不可知之数呢。