1976年11月19日，我第一次政治犯出狱了。这时再过五个月，我就四十二岁了。由于吴俊才安排我去政治大学国际关系研究中心做副研究员，该中心主任蔡维屏先约见了我，此公是个官僚，虚情假意，像个YMCA（基督教青年会）总干事。言语无味。不久聘书由女职员送来，我说：“副研究员相当于大学副教授，过去按老规矩，聘书都是大学校长亲自送上门的，怎么派女职员送来了？这是哪门子礼遇？”女职员说：“蔡主任最礼遇李先生了，别人的聘书，都是工友送去的。”我听了，恍然大悟，时代已经变得太多了。
形式上在“国关中心”十三个月后，吴俊才终于同意我自动辞职了。这时我四十三岁。再过一年，1979年6月，我四十四岁，终于东山再起，复出了。复出后最风光的四件事是出书、上报、结婚和离婚。出书是由远景出版公司沈登恩推动，上报是由《中国时报》高信疆邀写专栏，当然立刻引起国民党官方的不快，后来压力迭至，报社主人余纪忠不堪其扰，虽未逐客，我这客人，却不得不自逐也。最后主客双方，乃分手焉。在大大小小的官方压力中，一个有趣的压力是：我在文章中，自称自己坐牢那段岁月是“蒙难”，也构成大逆不道了。这一罪状，官方是由蒋孝武提出的，令人颇堪玩味。当时常住美国的江南听说了，写了一篇《“蒙难”也不能随意用吗？》在海外发表，为我声援，可见当时文网之密，已经到了什么程度，连无知之徒蒋孝武都可干涉言论了。后来蒋孝武派人杀江南，若说祸起于“蒙难”之辩，于理亦非不可通也。
胡茵梦和我的婚变，内幕也涉及政治性。胡茵梦和我结婚前，本是国民党，她写《特立独行的李敖》发表，早就被国民党透过“中影”向她警告。她和我同居到结婚，压力始终不断，国民党逐步封杀她在演艺事业上的发展，使她非常沮丧。她最后抵抗不了这种压力，而屈服、向官方表态，表演“大义灭夫”，这是很可理解的。胡茵梦出身一个不幸的家庭，又因她的美，被社会惯坏，她的反叛性，是没有深厚知识基础的、缺乏推理训练的。她的举动，太多“表演”“假戏”与“作秀”性质。最后，当这种举动渗入政治性的时候，我觉得这一婚姻就该立刻告一结束。孟绝子有一段话说得好：“在李敖的天地中，胡茵梦找不到真善美。李敖的天地中不是没有真善美，但那是董狐、司马迁、文天祥那一类血泪染成的真善美，是‘慷慨过燕市，从容做楚囚’式的真善美，是悲壮而深沉的真善美，而不是胡茵梦心目中的真善美。”但是，胡茵梦是不知轻重的，她被人利用，用不真实的方法伤害李敖，最后伤害到她自己。胡茵梦努力求真求善，是她的大长处，但她用作伪的方法求真、用作恶的方法求善，结果闹得亲者所痛仇者所快，最后连美都没有了！
胡茵梦向官方表态，表演“大义灭夫”后第二天（1980年8月28日），我看了报，决定跟她离婚。我先请来原始的证婚人，孟绝子和高信疆，表示我今天下午就离婚，“解铃还须系铃人”，还是麻烦你们两位在离婚证书上签个字。离婚证书上，我讨厌一般的套语，我只写上“协议离婚”四个字，就告完成。孟绝子签了字，可是高信疆却一再推托，当我得知真正的原因是高信疆太传统、不愿在离婚证书上签字以后，我也不好勉强他，就带着我和孟绝子先签好的离婚证书，一边请人送去给胡茵梦（因为我不想和她再见面了），一边匆匆赶赴忠孝东路大陆餐厅，主持记者招待会，宣布离婚。这时候，胡茵梦在她家得到我通知离婚的消息，大感意外，手拿离婚证书，约来律师李永然研究一番。李永然说最好请李敖过来一下。于是胡茵梦打电话到大陆餐厅找我，说她很难过，不过既然离婚，她也接受。在手续上有需面谈之处，请我过去，我同意了。记者得知后，蜂拥直趋胡茵梦家。胡茵梦登时换上黑底素服，以迎记者。我在路上，特别绕道到花店，下车买了九朵玫瑰花，再上车去胡茵梦家。我到时候，整个客厅已挤满记者，我把花送给胡茵梦，她为之泪下。胡茵梦表示，律师说你写的离婚证书，文字太简略了，最好能照一般写，写上些男婚女嫁各不相干等语，我懒得坚持，就说可以。于是胡茵梦亲笔写离婚书两张，然后是请证人签字，胡茵梦表示，律师说一个证人不够，孟绝子以外，希望再找一位签字，我说高信疆不便签字，你找证人好了。于是胡茵梦当场向记者们说，有谁愿意见证一下。大家面面相觑一阵子，忽然人丛中冒出一记者，说我愿意。胡茵梦同意了，请他过来，我一看此人，不是别人，原来是“段宏俊”！段宏俊当时好像是台港地区一家小报的负责人，有记者身份，他应邀签字，我没有拒绝的必要与理由。当年我主持文星时，段宏俊以自由太平洋文化事业公司负责人身份登门拜访，那时候他是因叛乱坐牢的受难出狱者、是被国民党刚刚“扫荡”过的，并不是后来跟着国民党走的“中央委员”。我这次离婚，后来康宁祥推出的李筱峰趁机影射李段关系如何如何，并说段宏俊在离婚证书上“盖章担任见证人”，是“大家都知道”的。这又完全是造谣。看看报上登的离婚证书吧！不但证人没有盖章，连当事人双方也都是匆匆以签名表示的，谁又有备而来的、没有必要的盖什么章？康宁祥推出的李筱峰，亏他还是学历史的，对整个离婚的过程，全不求证，就贸然曲解、乱造印章，这样子居心、这样子用心、这样子粗心，还被康宁祥请出来主持他们“首都公政会”中“党外史”，这种“党外史”，我们还敢看吗？自古以来，作史也好、修史也罢；正史也好、野史也罢，下笔之际，无不讲究“史德”“史识”“史才”，领教了康宁祥推出的李筱峰的“党外史”，谁还敢做党外啊？因为段宏俊是国民党，造谣者刻意要刻画出李敖勾结国民党的画面，这种用心与居心，实在格局太小了。
胡茵梦生平无不良嗜好，独好“怪物”，任何正常的，她都不喜欢；任何邪门的，她都偏爱，什么怪爱什么，怪不一定要大，一块歪七扭八的汉玉、一条尘封多年的绣片、一瓶闻所未闻的香水、一对密宗气息的耳环……都可使她因“小怪”而“大惊”，而要百计千方，得之而后快，然后休息二十四小时，再去作怪。作怪其实不要紧，甚至有它可取之处，毛病不在作怪而在不知天高地厚。整天吃男人、喝男人、花男人的钱、戴男人的玉、坐男人的车、抄男人的文章出书，结果却不辨亲疏是非，反过头来，与男人虚荣争胜，或以伪证方式“大义灭亲”，争自己人的风，还貌似清高，大谈人生大道理与佛门大道理，这不是不知天高地厚令人恶心的卑鄙小人吗？
1980年，一件不幸的事发生了，就是文星老友萧孟能告我的所谓侵占背信案，这案子根本原因在萧孟能抛弃了发妻朱婉坚——跟他同甘共苦四十年的发妻朱婉坚，我仗义执言，因而触怒了萧孟能的姘头王剑芬、触怒了萧孟能。所谓侵占背信案上了公堂后，我发现我被告的罪状，是非常离奇的。萧孟能说他去南美前，授权我代他办事，我没给他办好，但是，授权办的事，大都是萧孟能自己解决不了的陈年老账，有的长达十八年以上。自己十八年都解决不了的难题，丢给朋友解决，一共给了三个月零十四天，就要解决，不然就招待记者斗臭朋友、跑到法院告朋友，天下哪有这种道理？又哪有这种道德？萧孟能授权项目共有二十四项，这只是大项，二十四项下包括的人、事、单位等一共六十九件，萧孟能给我三个月零十四天，就是一百多天之内办这六十九件事，平均一天半要办一件，就是说，不到两天，要给他办完一件。我自己要谋生，又不靠萧孟能养、不受酬，怎可这样逼人，要人在这样短的时间办这么多的事？
萧孟能自己解决不了的陈年老账，我试举一例。萧孟能与《西洋全史》的作者冯作民有债务关系，冯作民欠萧孟能一笔“呆账”。这笔“呆账”，长达十八年之久，但萧孟能并不催还，反在萧孟能离台三个月零十四天之中，硬要李敖讨到。萧孟能上诉状中说：“与冯作民之债务，因时间之延宕，坐失良机，迄今未解，严重损害上诉人之利益。”试问冯作民所欠为钱，还钱就是了，为何不“解”而要“未解”？十八年间，冯作民只要汇钱给萧孟能；或在三个月零十四天中，汇钱给李敖，即可迎刃而“解”，除此而外，尚复要求李敖“解”什么？可见全是遁词！萧孟能把冯作民找到法庭作证时，冯作民透露此款在萧孟能返台后仍未偿还，可见萧孟能又不急了。有十八年长的时间自己不解决，唯独要李敖在三个月零十四天内解决，否则萧孟能和冯作民两人，即在法庭上把李敖“双杀”，这岂不是故意整人？萧孟能与冯作民两人什么关系，得使冯作民配合他在法院困扰我，我一直好奇。还是我神通广大，终于找到了答案，是1974年5月18日冯作民写给萧孟能的一封亲笔密件，谈的是两人的同好——许女士，全信精彩无比，值得细读：
能兄：我本以为我也可弄成一个“主妇”，和您共组一个“两合家庭”，所以三道门的钥匙早就给您配好，这就是我欢迎您在我家“美人、名马、英雄”聚会的铁证。
岂料天不从人愿，搬来石牌后情况突然变得很坏，如今我连普通秘书都请不起，遑论“伴侣秘书”？许是由我初选由您决选而成，可见在我心中也是一美。眼见美人别抱，任何男人都会有“酸溜溜”之感。两个月来我所以能忍受，一因我俩感情有如手足兄弟，二因我对许还没发生感情，三因我也有一美（前为祖，后为董，祖并允为我之妻）在侧，使我心理获得适度的平衡。祖是我的“喷火美人”，可使许对我不起任何恶性反应；董是我的“灭火美人”，可使我对许不起任何杂念。故始终能相安无事，而我的心波也就一直静如止水。
董走后，我立刻陷入一片苦闷中，对许之存在反应极为不正常，但仍能运用理智勉强控制，不料18日我兄来寒斋幽会后，知您在室内和许谈情说爱，我就在室外猜测你们的情节动作，内心所受刺激之大空前未有，犹如在挣扎饥饿线上的人面前大摆盛宴，心想又有谁肯能分我一杯羹呢！
我兄识我于寒微之中，十多年来深感知遇之恩，所以此次才尽全力助我兄美化人生。
弟四十年来一直在与命运搏斗，始终浮沉在极险恶的生命浪潮中独处空帏，时耶？命耶？弟亦无语问苍天！所幸子女已大，可从旁助弟笔耕。故今后除非极殊特情况，绝不再延聘任何男女秘书，目的只为求一“心静”，而不致再使弟“古井兴波”。
倘我兄能谅解弟上面的苦衷（此点我曾有言在先，想必能得我兄之谅解），即请另筑香闺金屋以藏，于您于我于子于女于许均极便也。专此敬祝
文安！
弟民拜书
冯作民在《书痴吁天录》一书中有一段自谓“愿站在道义立场”，为萧孟能“说几句公道话”，因为萧孟能对他有“知遇之恩”。现在密件出土，另设密室为萧孟能配好钥匙，由他“初选”由萧孟能“决选”美女，“来寒斋幽会”、“助我兄美化人生”，这种关系、这种行径，可就未免太那个了吧？冯作民在《书痴吁天录》书中第1页就说“事无不可对人言”，但是上面密件中的事，他却一字也不敢写，这叫“事无不可对人言”吗？冯作民书中提到萧孟能王女士是“夫妻”、称他们为“兄嫂”，这又是千古妙文！因为萧太太一直是朱婉坚，冯作民明明知道，萧孟能又何来一位王夫人？冯作民目无萧孟能的四十年发妻朱婉坚，竟将许女士收为密友、把王剑芬推做夫人，如果这些也算是人间的“恩”、人间的“道义”，人间真没有“公道话”了！
萧孟能告我的案子，由于国民党官方王异以下黑手的介入、由于台湾高等法院法官林晃、黄剑青、顾锦才等的枉法裁判，害我坐了半年冤狱。看了上面萧孟能利用冯作民的这些细节，才能觉察到这些促成冤狱的背景资料的复杂。由于我的耐磨善斗，虽然最后萧孟能被我打败，以诬告罪坐牢并逃亡海外，但在过程中，我也饱受诬蔑与损失。我至今不谅解胡茵梦，为的是她在我和萧孟能官司中作伪证，并且十八年后仍执迷邪恶，继续在电视上歪曲事实，我只好用连续七集的“真假胡茵梦”拆穿她，用证据使她无所遁形。
萧孟能诬告我的案子使我丢了老脸、丢了老友、丢了老婆，但最后我反败为胜，不但恢复了名誉，并且打败了他们，还乘胜跟国民党算了老账，老李飞刀，追杀十八年，至今未已，李敖的可怕，连李敖自己都有同感呢！我的可怕，不止于对活人，对死人也一样。当年蒋介石在庐山谈话时，说“如果战端一开，那就地无分南北，人无分老幼”，都要迎战。如今我却以为善报仇者，要再加上“敌无分生死”，才能更尽此义。例如我对蒋氏父子，便是如此。对死者鞭尸、对生者追击，这才是报仇者的全面公理，放眼天下，唯李敖有焉。
我和胡茵梦在一起的时候，亦有妙事堪闻。结婚第三天深夜3点钟，有个自称“中视”林导播的，打电话找胡茵梦，我说：“现在是夜里3点啊！”他回答说：“没错，我知道是夜里3点，你叫不叫胡茵梦来听？她不来听，明天我就公布胡茵梦跟我的床上照片。”我说：“林导播，胡茵梦在跟我结婚前，就开过一张名单给我，名单里面没有你，可见你是冒充的，如果你有照片，那你公布好了。”——这就是李敖的作风，我可以立刻反应，不让你怄到我的气。想在我面前逞口舌之利，差得远哪。
1980年2月8日，我和胡茵梦在财神大酒店顶楼晚餐，侍者通报说他们经理想过来谈谈，随即经理出现，不是别人，就是大名鼎鼎的杨维汉（白云）。白云当年是红遍全中国的大明星，红到全国照相馆橱窗多以陈列他的照片为招徕的程度、红到同时被二十八家报纸连载事迹的程度。如今垂垂老去，也过气了，意态颇为索寞。事后胡茵梦写了一篇《问白云》，讨论他们演艺人员的“过桥”与归宿。胡茵梦虽说问白云，又何尝不是问自己，因为白云已老惫，不堪闻问了。两年后，六十三岁的他，终在日月潭自杀以死，演艺人员的一生浮沉，在他身上，真对比得太强烈了。我识白云在文星时代，他听说我家老太是他影迷，特地跑到台中，去看“李敖先生的母亲”，当年他的影迷何止千万，如今要对一个影迷如此珍惜，光此一件小事，就可以喻大了。
我因为是政治犯和异议分子，并且是特大号的，被管制出境，自不稀奇。我第一次政治犯出狱后四年（1980年），为了试验一下是否能够出境，我托旅行社办了出境手续，旅行社回话说，别人都通过了，可是李先生的出境证却下不来，不知何故。不久，“国家安全局”的干员林家祺来看我，说政府为示宽大，同意李先生出境了。于是，由警总保安处处长郭学周出面，约我到他刀光剑影的官衙，从他上衣口袋中掏出出境证，当面笑嘻嘻地交给我，表示情治机关不刁难了。不料旅行社把出境证送到“外交部”领护照时，“外交部”的专员级科员汪应松力持反对颁发，理由是从新闻媒体报道中，事实认定李敖与胡茵梦有离婚行为，但在旅行社送来的李敖户籍誊本上，李敖却是未婚，因此不能发护照。我得知后，既笑且怒，乃写信责问国民党伪外交部长朱抚松。1980年11月15日，由“外交部”领事事务处出面，回我一信，说：“奉交下台端本月1日致本部朱部长函敬悉。查申领护照按规定须据实填写护照资料卡，台端所填资料卡之婚姻状况经查与事实不符，用特函达，请即亲自或以书面委托他人前来本处办理更正，以凭发照。”我收信后，既大笑又大怒，乃再写信责问朱抚松。我说：因为“丈母娘”扣留胡茵梦户口图章，胡茵梦一时迁不到我家，所以结婚时未能即时到户政机关登记。不料还没登记，就离婚了。所以送到贵部的户口誊本上，仍然是未婚。但这是户政机关的合法文件，是十足合法的“公文书”，你们是公家机关，“经查”手续自以“公文书”为依据，“公文书”上关于我的婚姻状况，你们竟不引为依据，撇开不采，反倒转过头来，要根据报章来“查”，一小块剪报就算“经查”完事了吗？照一小块剪报，就可以推翻附卷的“公文书”了吗？我这样责问后，朱抚松知道李敖惹不得了，因此下令即发护照给李敖，并把“外交部”中的读报专家汪应松骂了一顿。
可是出境的事还没完。延续到十年以后，大家还在扯。1990年11月10日，全美华人协会在波士顿举行每两年一次的全国代表大会，会中颁发杰出华人成就奖给李敖、田长霖（加州大学伯克利分校校长）、李天和（麻省理工学院教授）三人。我不能出席，只好以录音讲话，送到美国去播放。波士顿《舢舨》（Sampan Newspaper）的宋明怡小姐报道了我不能去美国的事。提到“华协颁发这个奖给李敖，是要引起世界人士对他在争取民主自由人权上的承认”，并引述了华协总会会长潘毓刚的谈话。11月21日，国民党政府北美事务协调委员会驻波士顿办事处致函《舢舨》，指出：“《李敖打消美国之行——台湾政府声言出国后不予返台》报道与事实不符，经本处向国内查询复告：李敖先生自民国六十九年（1980年）8月18日核准赴日观光后，迄无申请出入境之记录，目前并无依法禁止其出境情形，亦无政府人员与渠接触谈及境管问题，仍请贵报一本公正报道立场，惠予更正为荷。”对这封官样文章的信，我在11月28日有反驳如下：所谓1980年8月18日核准我赴日观光，与事实不符。第一，我一生讨厌日本，绝不会到日本观光，何来“核准赴日观光”？第二，所谓8月18日核准之说，也与事实不符，因为“外交部”一直不肯发给我护照，按照“外交部”自定的作业程序，护照是四十八个小时内发下的，可是我的护照，拖了四十八天也不肯发下。从8月拖到11月，我火了，写信质问朱抚松。半个月后，“外交部”回信了，捏造出“台端所填资料卡之婚姻状况经查与事实不符”理由，仍旧拒绝发给。11月23日，我再写信质问朱抚松，告诉他说你太太徐钟佩在《我在台北》一书中骂你是“死鬼”，是有道理的，因为我所填资料卡中，全无与事实不符之处，是“死鬼”手下公务员自己弄错了。朱抚松收到信后，紧张了，于是，“外交部”的护照无条件发下来了，“外交部”收回了“经查与事实不符”的鬼话，不再出面阻止我出境了。可是，当我买了机票，要去新加坡观光时，到了机场，却被拦截下来，原因是我虽有了护照，可是出境证被警备总部收回去了。我在机场打电话给警总保安处处长郭学周少将，他们推托不在，也不肯说明郭少将亲手发给我的出境证收回去的原因。我当时恍然大悟：原来是“外交部”和警备总部轮流做坏人，皮球踢来踢去，结果不外是不让我出境而已。国民党政府在三十一年的“强迫永不分离”以后，所谓“核准”，只是骗美国人的把戏而已，一旦我真的要出境了，他们的花样就来了！如今，北美事务协调委员会里宣扬台湾自由的知识分子们，他们对李敖不能出境的事实，坐视三十一年都不置一词，却对李敖可以出境的描绘，兴致勃勃地来函贴金，我看了真觉得好笑。说李敖“迄无申请出入境之记录”吗？太抬举李敖了吧？张学良也“迄无申请出入境之记录”、孙立人也“迄无申请出入境之记录”，在官样文章中，“目前并无依法禁止其出境情形，亦无政府人员与渠接触谈及境管问题”，可见张学良、孙立人不能出境之说，均“与事实不符”。又何必抬举张学良、孙立人呢？希特勒杀了三百万犹太人，也迄无官方记录与依法杀人情形之遗痕，自也同属“与事实不符”之尤者。愿北美事务协调委员会诸君子改行去写历史，则希特勒将感拜无涯于地下。诸君子其勉之！
我的反驳信登出后，北美事务协调委员会挨了闷棍，一个屁都不敢放了。可是事情还没完，我到底出不出境、去不去美国的问题，还是成谜，美国大使馆的邀请虽然早已是明日黄花，但把李敖请到美国去的念头，却大有人在，我三姐就是此中健者。她不让我知道，就为我申请到移民名额，美国在台协会通知我后，我大模大样，理都不理。一拖好多年后，美国在台协会1997年10月29日给了我最后一信，说再等你李先生一年，你再不来，难得的名额恐怕就得取消了。可是我还是不动如山。此中原委，一个插曲道出了一切：1984年，美国在台协会文化中心的头儿何龙（David Hess）下帖子请我晚饭，我谢绝了，8月16日，我写了一封信给他，这信清楚说明了我对美国的态度：
你的请帖收到了，抱歉我不能参加你的晚宴。
二十年前（1964年5月18日），我收到发自贵国大使馆高立夫（Ralph N. Clough）先生的信，邀请我访问贵国；两星期后（1964年6月1日），我又收到林诺华（Lynn H. Noah）先生的信，洽商访美细节，但是我没有成行。没有成行的原因有两个：一个是国民党刁难我的出境，他们要跟我“交换条件”才让我走，但我拒绝；另一个是我对贵国政府一路支持国民党这种法西斯政权，深致不满。
当伊朗法西斯政权倒台的时候，霍梅尼（Khomeini）扣留美国大使馆人质，种种行为，令美国人不解，美国人说他们对伊朗流亡在外国王的关切是基于人道，但他们忘了，当霍梅尼流亡在外的时候，美国的人道又在哪儿？霍梅尼是美国一路支持伊朗法西斯政权的常年受害者，一朝他得以翻身，他会谅解美国这种伪君子的理由吗？
同类的例子太多了。中共在延安时代，美国政府是一路支持国民党法西斯政权的（虽然美国新闻处的主持人费正清〔John K. Fairbank〕等支持中共），美国大使都懒得到延安去；但是，一朝中共得以翻身，美国总统都得勤于上北京了。中共领导人以几近无礼的大架子“临时通知接见”美国总统，美国人同样不解，为什么？因为美国人又健忘了。
如何学到从被美国间接迫害的人的观点看事情，对骄傲的美国人说来，太重要了。
如今，在美国在台机构和我相忘二十年后的今天，你老兄走马上任，想补救你们过去的错误，我很欣赏你的慧眼，可是，好像有点太迟了。至少对我来说，除非美国政府彻底放弃支持法西斯政权，我对与美国官员会见，全无兴趣……
这封信，可谓“曲中奏雅”地道出了我为什么不去美国，而所谓出境问题，自此也被我技术击倒，不成问题了。原因是，我在台湾，一开始是“大有为政府”不让我走；到头来“大无为的我”自己也不想走了。早在1982年3月16日，郑南榕就在《政治家》上发表《李敖，不要走！》最后一段说：
应该禁止李敖出境
这个世代，有财的人想离开台湾，有才如李敖之流的人也想离开台湾，真是时代大悲剧。财、才不缺的李敖先生，应该挺身出来，以心作则，阻挡这种悲剧的潮流。李敖可以站起来，与赵耀东先生一起合唱《归来吧，台大人！》的高歌；也可以坐下来为我们写出第一流的自由民主政治的思想文章。
如果我是出入境管理的掌权人，以上这些论点，就会是我“禁止李敖出境”的理由。这些理由，将使我们对历史有所交代：对列祖列宗保留了一个优秀的文化精英；对子子孙孙留下一个宝贵的文化遗产——李敖。
这是一段很好玩的文字。郑南榕大概不知道：我从1949年起，三十多年间，根本就是陷在“禁止李敖出境”的状态的。所以，说三十多年我一直未能离开也未能获准离开，并没说错。至于三十多年后至今我能否出境，我没办过手续尚不得而知，照判断应该可以，因为叛乱犯时代已逝，而我又非通缉犯或什么犯，也无什么欠税记录等被管制条件，可是我已经准备“‘出’此一步，即无死所”了。我这种决定，大概死友郑南榕最能满意了。
我在1981年非但不能出境，反倒第二次政治犯入了监狱之境，这次“二进宫”，我被关在土城看守所半年，难友刘峰松崇拜“李敖大师”，写了一篇《李敖在狱中》，其中写李敖“囚房权充书房”一段，观察可谓入微：
囚房才一坪多，里面有一张铁床、一个马桶、一个水桶、一座洗脸台、一张小桌子和一盏二十烛日光灯。大师的囚房跟我们一样，但经他精心布置后，就是不一样。第一，他土灰色的四面墙，都贴上白纸，就连铁床下，也用白纸隔开，看不见床下的龌龊；房间洁净，光线充分。第二，他在洗脸台上搭架子，放好几包卫生纸和一些杂物，充分利用空间。第三，他有好几套书，如《二十四史》之类，摆放在靠窗的一面，有如小书橱。第四，他的棉被有三尺高，占铁床的三分之一；用纸箱、棋盘（摸来的）做的桌子及两个放剪报资料的纸箱，又占铁床的三分之一，室内显得特别狭窄。
看大师的囚房，让人有无地容身之感，不过物品虽多，却不凌乱，凡去过他家的，都能想象到他是怎样地把两坪不到的小囚房，变成雅致的小天地。他的囚房不仅洋溢着书香，也散发着一股庄严而不可侵犯的正气，任何人参观他的囚房，都要肃然起敬的；据说每周抄房时（检查房间），“戴帽子的”（狱吏）都不敢弄乱他的房间。李敖虽坐牢，并不失大读书家的风格和气派。
刘峰松又写“应有尽有”一段：
牢房不准有镜子，他有；不准有刀片，他有；不准有剪刀，他有；不准有订书机，他有；不准看《联合报》，他看；买不到糨糊、塑胶带、白纸、长尺……他买到，可说应有尽有。
他不会客、不接见，哪来这么多“家当”呢？原来他有秘密管道，不仅利用它输出，也利用它输入。这条管道（看守所所长）朱光军查不出，我看不是李敖神通广大，而是朱光军颟顸无能。庄严的监狱，有这样的漏洞，朱光军该羞羞。
其实我的“秘密管道”主要都是透过难友石柏苍来的，石柏苍以法院书记官坐冤狱，白天到办公室做外役，每天下班就“老鼠搬家”般地向我通风报信，并且支援物资，他的神通，广大极了。刘峰松又写“回答田中的话”一段：
日本浪人田中因涉嫌杀死情妇，被老K判极刑，但缠讼多年不得定谳。他跟我们同舍，有一天放封时，向大师说：“李先生，李先生，你看你们中国人怎么搞的，我已经更审四次了，还不能确定。”大师正色回答他：“你们日本还有四十几年没定谳的呢，这有啥稀奇！”田中无辞以对。
李敖批判老K，叫老K憎恶，但对外发言不失立场、不失国格，给老K面子，理应给他一纸“爱国”奖状。
刘峰松以“朱光军晕头转向”一段收尾：
大师出狱后，以洋洋数万言抖出黑狱内幕，观察之仔细，记载之翔实，令人叹为观止。李敖的旋风造成震撼，令朱光军头痛，令朱光军吃不了兜着走。据说有电视台、广播台及报社记者去采访、去照相，又有检察官去求证，朱光军忙着掩饰，忙着“应变”，忙得晕头转向。据后来到北监服刑的难友告诉我，朱光军的措施有：
集合孝一舍全体住客讲话，要他们自动缴出李敖（送给他们）的“家当”，如镜子、梳子、剪刀等，如不缴出，抄到必严惩。
把李敖的“三十二”房重新粉刷一新，才让记者照相；采访照相时，严令楼上不准用水，以防漏水，泄露偷工减料的真相。
把中央台的鞭子藏起来，暂时不准打人。
把百货一律暂时降价，调整到合理、见得人的价格，如毡子由五百元降为三百元。
把孝一舍主管刘台生暂调病舍，避避风头。
检察官询问古永城“绑担架”的事，古某事前已被“打点”过。
孝一舍放封时间不准交谈，以免交换情报，扩大事态。……
照情理说，李敖坐牢期间，上自法务部次长，下至朱光军，都待李敖不薄，给他新被单，给他新毡子，给他保温杯，给他热水澡，给他炖排骨，大小牢头又常去拜码头，去嘘寒问暖，去效犬马之劳，大家都是恭恭敬敬、客客气气的，可是李敖一出狱翻脸不认人，抖出黑狱内幕，造成天翻地覆的大震撼。也许世人要骂李敖：“这样的家伙、这样的家伙……”，然而我们知道：李敖争的是社会公义，是是非，他不是一个容易被小人包围、被小人灌迷汤、被小人收买的人；像这样一个不惜冲破人情藩篱、提倡社会公义的人，当今台湾有几个？能不敬为国士，为他鼓掌欢呼吗？
刘峰松的描写很有趣，最简单的结论是：为了正义，李敖是软硬都不吃的。难怪朱光军做梦也搞不清怎么会碰到这种囚犯！他送我出狱的时候，跟我拉手，双方都笑嘻嘻的呢，怎么李敖一回台北，就翻了脸了？夏光天后来告诉我，朱光军一喝了酒，就发酒疯吵着要找流氓教训李敖，我想他真被国民党伪法务部长李元簇骂惨了。我出狱当天，1982年2月10日，就发表文章攻击监狱黑暗，引起轩然大波和监狱逃亡的暴动。第一是2月27日花莲看守所喧闹事件。由二十七名人犯闹起，看守所急电警察局请求协助，警察全副武装赶到，才告平定。第二是3月8日新竹少年监狱暴动事件。一千四百七十六名人犯全体出动，监狱急调镇暴部队（三个中队）及新竹警方各分局人员弹压，才告平定，暴动长达二十四个小时，监狱设备几乎全毁。“法务部”大官人（监所司副司长王济中）公开发表谈话，说作家李敖出狱写文章，引起社会大众注目，给了少年受刑人心理上的后盾，认为闹得愈大，愈能得到社会大众的支持与同情。所以，都是李敖惹出来的云云。同时，国民党伪行政院长孙运璿在“行政院”院会里已对狱政表示疑虑，李元簇在“院会”里、“立法院”里、报章上、电视上，不断对我“点名批判”，官方为封杀我，尽量一面倒传播批判我的，而不传播我的。但官方的一些议员，为了选票及其他，却忍不住这个好题目，“立法院”中游荣茂、李志鹏等国民党议员，提出质询，党外的当然也不放过。最好玩的是国民党“立委”温士源（司法委员会召集委员），他在2月23日书面质询，反对对李敖做“迹近英雄式的报道”，“对青少年人来说，各报虽无奖励犯罪之意，亦恐有导引不当行为之可虑”……老贼之言，煞是有趣。
我这次坐牢，因有石柏苍的秘密管道，所以明着概不写信，但有一次例外。我跟胡茵梦离婚后，林清玄、陈彩銮介绍了一位漂亮的小女生武慰先做我的女秘书，她后来考取空姐，吵着要到牢里来看我，我在牢里是不见人的，但漂亮女生例外，所以武慰先要来，我自乐见。有这样一封信是透过正式写信方式寄出的：
慰先：
你前后七封信，全收到了。这是我七十一天来第一次写信，就是写给你，这种独受青睐的“殊荣”，总该使你收不到回信的难过，得到补偿了吧？
我不写信的原因之一，也是因为照“羁押法”第38条“准用监狱行刑法”第62条规定，在押被告（含分监受刑人）通信对象以最近亲属及家属为限，所方发给我通信对象调查表，很宽大地告诉我所谓最近亲属及家属，如果我填上“未婚妻”就可以任我发信。我感到他们很会解释法律，中华民国大法官先生实在该向他们学习。
你说你又恢复了长发，我很兴奋，你的短发有它的美，长发一定另有一种美，为了看看你的长发，你22日来的时候，你可以告诉他们：“那个不见人的李敖，今天同意见我，请你们把他提出来。”你若成为第一位见到我的人，这是你另一次的“殊荣”。
“不畏浮云遮望眼，自缘身在最高层。”这是王安石的自负，也是我的。我斗室独居，乏善可陈，无恶可做，只是努力看书而已。有时半夜醒来看书，夜已微凉，披上你我共有的那件褐色夹克，恍然如昨。这次“二进宫”，使我对人情冷暖有全新拷贝的了解，现在是“以牢为家”，将来真要“以家为牢”了！
代我向伯父及各位问好。
敖之1981年10月19日夜
这封温馨的短信，是狱方唯一能检查到的李敖亲笔了，我把它收在这里，留做“二进宫”的一项纪念。
如上所述，与胡茵梦扯在一起的后遗症很多，最后一个后遗症是我写作甚稀，原因是花了太多时间在女人身上。不过这次坐牢前后，我完成了“李敖全集”八册，也算是具体“成就”，事实上这全是叶圣康、林秉钦的功劳。“李敖全集”出版时，遭到官方的干扰，内情有趣，值得一述。原来国民党钳制言论自由有一特色，就是以武夫（尤其政战系统的武夫）审查书刊。按说书刊纵该审查，似乎也轮不到武夫者流来劳过界，但是国民党的武夫则不然，从外放做“大使”到内定掌华视，赳赳者天下皆是也，又何况审查书刊哉？自从在台湾写文章起，我就与国民党武夫结不解缘。国民党审查书刊，单位不少，但总其成者，则在警备总部。警总武夫皆蛮干派，武而不三思者也。他们捣我的蛋，一直藏身在暗处。但是因缘际会，倒也有露白者二起。第一次是1966年警总抢劫我的“告别文坛十书”后，由李国瑾中校出面，与我料理后事。李国瑾是王昇红人李明的弟弟。李明程度本来奇差，李国瑾更不如乃兄，且面目可憎，一如乃兄。为人又阴险讨厌，一如乃师王昇。给人印象，恶劣已极。希特勒说他宁愿拔掉两颗牙齿，也不要再和佛朗哥见面，我则愿意拔掉四颗，此生再也不要遇到这种政工人员！第二次是1980年。那年四季出版公司准备出版《李敖全集》第一梯次六巨册。在头两册付排的时候，警备总部负责书刊审查的人，找到了四季老板叶圣康，交给他一纸书单，提醒他书单上的李敖著作不要出版，因为都是查禁在案的。并向他表示，愿意与李敖先生见个面。在叶圣康的安排下，我与这位负责书刊审查的人吃了一顿午饭。这人自称叫张烈，是位老先生。他说负责书刊审查的人多是政工干校出身的，他自己也是，但他不是干校学生，而是干校教职员，负责书刊审查的，包括警总政六处处长曹建中，都是他的学生。他说警备总部的人，没人敢跟李敖接触，他却不怕，所以特地吃饭聊聊，以减少误会。他所说的警总的人没人敢跟我接触之事，我也早有所闻，看他言之凿凿，我也笑而信之。那顿饭局，只有三个人：我、张烈和他带来的一位朋友。这位朋友我本以为是来“监视”他的，但是看到他们互相交换唱酬的诗稿，似乎又纯粹是他的朋友。他们把诗稿拿给我看，上面写的都是滥套的旧诗，不过令我惊讶的是：军中却也有这么以守旧的方式附庸风雅的人！一顿饭吃下来，聊得倒也毫无拘束。张烈很客气地转告军方的查禁标准，除了政治上的禁忌外，“不要提到生殖器，也不要骂孔子。”关于书单上查禁的李敖著作，因为查禁在案，书名相同的绝对不要再用、篇名也要改过。所以《李敖全集》为了减少查禁的麻烦，把《李易安再嫁了吗？》改名为《李清照再嫁了吗？》以为掩耳盗铃；关于“不要提到生殖器”，把文中“老祖宗们生殖器崇拜（phalliciam）”的字眼，改成“老祖宗们什么什么崇拜（phallicism）”的字眼，以为掩中文不掩英文。……张烈口中的这些国民党查禁标准，最令我惊异的，不是别的，反倒是他说的那句“不要骂孔子”的道统观念。对孔子，早在几十年前的五四时代，大家就有了“骂”的自由，像《吴虞文录》等是；早在千百年前的战国时代，大家就有了“骂”的自由，像《庄子》等是。可是到了台湾，国民党却反动得连孔子都碰不得了。这种大开倒车，倒真令人称奇呢！不过，有趣的是，这位张烈老先生本人，虽然言之谆谆，但在执行起来，却也自形藐藐。大概一顿午饭建立了他跟我的交情，几个月后，他突然打了一个电话给我，说为了金庸的书，他跟曹建中起了冲突，甚至发生了武斗，他气得不干了，现在到“中国广播公司”做事去了。临移交前，他把《李敖全集》全六册都放行了。所以，我如果在出书前内容有所“插播”，也没有什么关系了。我很感谢他这一“密电”。原来禁与不禁之间、找与不找麻烦之间，还可因人而异，有这么大的分寸，警总之有弹性，固似女人之裤腰带也！张烈以后，警总又藏在暗处，做“狗屄衙门”——只进不出了。照例每月查禁我的书，累积起来，有九十六册，足可进“吉尼斯世界纪录”而有余。其间叶圣康有一天碰到曹建中，曹建中跟他大骂李敖。叶圣康说：“处长对李敖恐怕有所误会，何不由我安排，见见李敖？”曹建中闻言色变，连忙摇手说：“我才不要见他，没有人敢见他。见过他，他什么都给你写出来，你洗也洗不清！”我闻之大笑。
《李敖全集》虽然刀下余生，可是序却没有了。本来是有序的，那篇序标题《（李敖全集）自序》，在全集还没印好前，先发表在《四季》杂志第十期（1980年4月20日）里。不料一发表后，由于措辞激烈，被查禁了，四季出版公司为了全集得以顺利出版，就在“李敖全集”前面，删除了这篇序，所以，四季版《李敖全集》，是一部没有序的大书。序和正文，身首异处，相隔千里，正像关老爷的下场一样！
我第二次政治犯出狱后，带头搞党外杂志，带领郑南榕、陈水扁等，风起云涌，跟国民党的武夫连续斗法十年之久，在斗法过程中，我甚至挖到并公布由警备总司令陈守山上将主持、由曹建中记录的《现阶段加强文化审检措施暨现存问题座谈会记录》，令他们大吃一惊，一起开会的出席人员，从“国防部”总政治部主任许历农上将，到国民党“中央文工会”主任宋楚瑜等发言，均赫然在焉。有趣的还在后头，十多年以后，国民党从李登辉当道成主流派以后，当年当道的主流派，死的死、老的老、失势的失势、下台的下台，慢慢形成另一族群，我戏呼此辈“渐成人形族”——原来过去做当道的主流派时，跟着主子做坏事，不成人形，现在式微了、官丢了，天良渐现，所以渐成人形了。举几个例子，我曾写文章骂华视的头子武士嵩中将，一天他到我住的大楼来看我的邻居何世礼上将，电梯中碰到我，拉住我手向我表示佩服，并大骂国民党当权派，我在旁一直笑。比武士嵩更精彩的是许历农上将。他当年做“国防部”总政治部主任时，是查禁李敖之流言论的主持人，固我宿敌也。不过此人人品不错，是个值得尊敬的敌人。他的毛病是头脑跟不上，以致把“救国救民”和“做蒋家鹰犬”分不开来。后来李登辉当道了，他毅然脱离国民党，加入新党，光明正大，挺身而斗，不失为一条汉子。他到我家来拜访两次，备致拳拳。1998年汪俊容和我同过六十三岁生日，在饭店吃饭，我的好邻居张善惠、林丽苹在座，许历农也来了。席上我说了一个故事。我说杨西昆“大使”从南非回来，一天带了一根非洲朋友送他的雕刻精美的象牙给我，对我说：“二三十年来我一直佩服李先生，但因有公职在身，不便表达这一佩服，现在退休了，人也快八十岁了，特地到李先生府上，送上这一纪念品，表达我二三十年来一直藏在心里的心意。”后来杨大使请我吃过几次饭。有一次吃饭时，他的夫人对我说：“告诉李先生一个秘密：这次选举，我们整个大楼住户，全体都会投新党的票，虽然我们现在还是国民党。”我答道：“杨‘大使’肯投新党的票，是很了不起的变化。可是容我说一句：杨‘大使’暗中投一票也只是一票而已。如果杨‘大使’肯公开站出来，像许历农那样公开站出来，以杨‘大使’的地位，登高一呼，可以为新党带来多少票呀！杨‘大使’可愿考虑考虑弃暗投明啊？”杨西昆在旁听了，笑着摇手，说：“许历农那样明着干，我们可做不来。”我讲了这故事，又把话题转到汪俊容的老丈人、阮雅歌的爸爸阮成章中将身上，我说：“调查局的老人对沈之岳、阮成章前后两任局长评语是：‘沈之岳人面兽心，阮成章兽面兽心。’——因为阮成章长得浓眉凶眼、面目狰狞，所以人以兽面描写他。”我对阮雅歌说：“虽然你老太爷也和许老爹一样性好革命，但碰到李登辉而能继续革下去的将军们，今天只剩许历农啦。”这顿饭后几天，许历农夫妇请我们吃饭，阮雅歌笑着对我说：“大师呀，你要原谅我，我代你说了谎话！我爸爸躺在病床问我李敖对他的印象，我扯谎说：李敖说沈之岳人面兽心，阮成章兽面人心。我爸爸听了一直点头笑。大师呀，你可要原谅我。”我说：“等他病好了，真的能追随许老爹脱离国民党，我就真的可追认这些话啦！”——许历农的转变，使我感到：真的、真的、真的有些国民党大员，当他们不再是当道的主流派以后，他们有的真会跑来认同李敖了，他们对我“相逢一笑泯恩仇”，这种高速进步，多有趣啊！