在“克利夫兰号”轮船上结伴而行的，是王世襄燕京大学时的同学李肇特，这位留学美国专攻组织解剖学的医学人才，和王世襄一样选择了学成归国一途，当然他立志救死扶伤的梦想没有破碎，回国后进入了北京医学院工作。这是插话。
有同学李肇特同行，王世襄不必像一年前那样结识新的旅伴，所以他感觉很快便到达了这班航船的终点站——香港。在到达香港之前，王世襄饶有兴致地在途经马尼拉时上岸游览市容，还在途经日本横滨时又专程到东京看望了仍留居在此的吴文藻及冰心夫妇。对于王世襄的来访和归国选择，吴文藻和冰心夫妇颇为感慨地说：“你去美国一年都回来了，我们也准备要回北京。”果然，吴文藻和冰心夫妇不久便归国任教于北京大学。王世襄赶往神田，因为他特意购买的《东洋美术大观》一书已经转卖给了史克门，幸运的是他在此买到了此书的平装本，还购买到了《敦煌壁画の研究》和《纂组英华》等书籍，这都成为了他日后工作时经常参阅的有用图书。
由美至港，王世襄和同学李肇特在海上航行了不足一月光景，而由港到津却费时超过一月，这主要是因为当时节节败退的国民党军依然在渤海湾一带骚扰，致使港津之间轮船停止航行。为了能早日返回北京，王世襄到旅行社领取了在港用费并托人购买前往天津的船票，自己几乎每天都要到几家轮船公司打听船期，因此竟能够与同样盘桓于这几家轮船公司的同学李肇特相遇。虽然当时寓居香港的还有他三舅母及表弟金尊五、表叔沈崑三、汉奸姑父赵尊岳（伪上海市长）及姑母王季淑等众多亲戚，但他还是心不在港。
后来，王世襄得知当时的广州城还未解放，遂想起那里一家保险公司职员杨新伦藏有十几张很好的七弦琴，便决定前往观看。当时，从香港九龙到广州的水路非常便捷，所以王世襄很快便乘船到达广州，并找到杨新伦观看了他的藏琴，还聆听了他的古琴演奏。非常有趣的是，这位藏琴者后来将其部分所藏捐献给了中国音乐研究所，那可是王世襄被故宫博物院开除后的容身之地。
短暂的广州之行王世襄没有忘记拜访当时任教于岭南大学的容庚先生，这不仅因为他曾是王世襄燕京大学时的老师，还因为王世襄得知他到广东后曾收集有诸多书画以及与书画有关的图籍。从广州返回九龙，王世襄住在一家旅馆内又焦急地等待一些时日后，终于搭乘上了从香港驶向天津的“汉阳号”轮船。
民国三十八年（1949）8月14日，王世襄回到了分别一年的北京城，遂立即前往故宫博物院报到，并在院长马衡的陪同下拜见了时任文化部国家文物事业管理局副局长王冶秋。随后，他依旧留任故宫博物院古物馆科长一职，开始了他极为短暂的立志强馆之路。只是，这条路不仅太过短暂而且荆棘密布，或者说还未起步就被重重阻力阻挡了。
身许故宫博物院并立志要将其建设成为世界一流博物馆的王世襄，针对院中当时诸多亟待筹划和展开的基础性工作，决心暂时放弃作为一名青年学者理应从事的学术研究著述事业，积极投身到基础工程建设当中，比如“清理修缮闲置院落，开辟库房，制造庋藏架柜，研究文物分类，编印藏品簿册，制作文物登记卡片，以及制订提取陈列、送还库房等规章制度”，等等。这些对于从欧美先进博物馆刚刚取经归来的王世襄来说，都是他驾轻就熟并多有创新的事务性工作。然而，当他将自己精心拟定的工作计划、方法步骤及费用申请等，一一送呈到党代表那里审阅批示时，却一再地被取消或削减，有的甚至是拖延搁置多日后便不置可否了。对于这种工作处处受阻且进展极为困难的状况，抱有奉献精神的王世襄虽然一时难以接受，也对新中国刚刚成立后实行党代表统揽一切的这种制度表示理解，可王世襄不能理解的是为什么他在不研究不调查不了解的情况下，一味擅自地做出种种不合理之决定呢？
这是一个政治挂帅、阶级斗争为纲的非凡时代，政治狂飙或微风能够在瞬间刮遍中华大地上的每一个角落，即便是隐藏在闭塞偏僻的山区村落也概莫能外，何况地处政治风向中心的故宫博物院呢！所以，王世襄即便不能理解那种种不合理之决定，也不妨碍政治压倒一切等诸多看似不合理之任务的频频降临。比如，1950年王世襄已经出任故宫博物院陈列部主任后，一天突然接到上级布置的一项政治性任务，那就是为了以电影形式宣传苏联老大哥与中国小兄弟之间的深厚友谊，苏联文化机构派遣专家来到北京拍摄纪录片，要求故宫博物院必须全力予以配合。对于这样一项关系到两个伟大社会主义兄弟国家之间友谊的政治任务，故宫博物院在党代表领导下自然不敢有丝毫怠慢，而当苏联专家拍摄完宫殿建筑之后，将摄像机镜头转向院藏文物特别是提出他们的拍摄方法时，当时负责此项工作的王世襄和朱家溍两人都吓了一跳，因为苏联专家要求将文物包括易碎的瓷器放在能旋转的工作台面上，以便拍摄到文物全形及周身纹饰，然而他们却没有携带任何专用设备而要求故宫博物院负责提供。
就在王世襄和朱家溍两人为此感到为难时，总务处人员竟然从当年溥仪遗留物品中找到了一具老旧的西洋留声机，拆掉喇叭后用一块中心挖洞的木板垫在机盘上便成了工作台。王世襄和朱家溍两人发现不仅这块木板不平稳，就连留声机的旋转速度也是忽快忽慢，这实在难以保证放在其上的文物安全。当王世襄和朱家溍两人提出必须改进这一设备的建议时，不仅苏联专家不予认可，就连向院领导汇报后也只得到了“专家工作不能延误，更换设备免议”的严肃指示。
既然如此，王世襄和朱家溍两人不得不创造条件来保证苏联专家的拍摄工作。于是，他俩分工协作，由朱家溍坐镇文物库房负责挑选院藏多件且重复的官窑瓷器，并适时搭配一些晚期不甚重要的瓷器，并用垫有厚厚棉褥的大筐抬往拍摄地点。王世襄则负责拍摄现场工作。拍摄地点是王世襄悉心挑选的一处殿堂院内比较安全的东庑。即便如此，当工作人员因大筐无法将文物抬进屋内，而按照苏联专家要求将一件件瓷器从大筐内取出来，然后再一一摆放在东庑窗外条石上时，负责拍摄现场文物安全的王世襄却只能紧张地一直站在临时工作台的后面，以防转动中的瓷器从那上面掉下来时进行急救。果不出所料，王世襄这样的担心并非多余。一次，当一件瓷瓶几乎倾倒时，幸亏王世襄箭步上前用双手紧紧地抓住，才避免了那只瓷瓶粉身碎骨，而王世襄则为此惊出了一身冷汗。
时过不久，王世襄又听到窗外“当”的一声，原来工人从筐中取出一件盖罐时不慎将盖子滑落，正巧砸在旁边的一摞瓷盘上，并将上面那个瓷盘砸掉了拇指大的一块瓷片，这让王世襄既心疼又忐忑。心疼自不必说；忐忑，是因为按照有关规定，凡是出了事故，作为负责人的他必须做出书面检讨，而检讨能否在党代表那里得到通过还是一个未知数。正如王世襄所忐忑的那样，当他实话实说地写出检讨，先后两次修改也未能通过，直到他在检讨中表示承担一切责任并请求处分才算是过了关。
此事过后，有一天王世襄和朱家溍两人在古物馆午休时，对京剧造诣精深的朱家溍见王世襄满脸委屈的模样，遂脱口而出了《群英会》中的一句台词：“这曹营的事难办得紧呀！”而王世襄立即表示抗议：“你不该把我比作蒋干。他中了周瑜之计，害得曹操误杀良将，竟还要邀功，被狠狠啐了一口。我可和他完全不同。”见王世襄如此说，朱家溍遂又缓和气氛说：“咱们且不说蒋干、曹瞒，故宫的事难办，你总该同意吧。”又过了几天，生性幽默的朱家溍见到王世襄，忽然得意地说：“我编了一个歇后语，很妙——‘俄罗苏（sù）拍电影，砸词（瓷）儿’。”王世襄一听此语，不由笑道：“你真是一身都是戏。”
原来，“砸词儿”一般是指京剧演员在演出时出了差错，比如忘词、穿错戏装或者戴错了髯口等。当时，这个词在北京人的日常生活中经常使用，意思与“砸锅”比较近似，但比“砸锅”表示彻底完蛋的意思要轻一些，而“砸瓷儿”和“砸词儿”谐音，可谓是巧妙至极。更有趣的是，在老北京的语言中，“俄罗苏”就是指俄罗斯，而且原本关于俄罗斯的歇后语在老北京人中就经常使用，比如：“俄罗苏（sù）卖毯子——披着吆喝。”这次在故宫博物院里“砸瓷儿”的正是俄罗斯，想来也真是为老北京语言又增加了一丝趣味。
不过，朱家溍创造这条歇后语之趣味，实在改变不了故宫博物院当时事情难办之状况，有些工作之难办程度竟是王世襄所意想不到的，比如他后来在《与西谛先生一夕谈》的文章中回忆过这样一件事。1950年的一天，文化部文物事业管理局局长郑振铎（字西谛）来到故宫博物院找到王世襄，郑重而具体地下达任务说：“太和殿抗美援朝展览两日后到期，你必须动员古物馆全体人员，在三天内完成该展的撤陈并布置好‘伟大的祖国’展览，把院藏的精品尽量陈列出来。”
对于局长郑振铎亲自下达的这一任务，王世襄当时就听呆了，他认为这是无论如何也不可能完成的事情。因为虽然当时举办的抗美援朝展览主要是以图表为主，也有一些书画和高丽瓷器等，即便这些工作能够在一天之内完成撤陈，但是要想两天内以尽量多的精品文物在偌大的太和殿内布置好一个足以显示伟大祖国风采的艺术展览，简直是太难了。不过，新生的人民共和国是敢于也能够创造奇迹的，比如十个月时间完成举世瞩目的人民大会堂工程，等等。所以，当时王世襄对局长郑振铎这种限期完成工作的长官意志产生意见，很显然是不符合当时国情要求的。当然，王世襄这种意见在与西谛先生后来的一夕谈话中有所改变，并理解了即便作为局长的他在那时也有许多无可奈何。
国情如此，王世襄不得不统筹安排加班工作，组织调动了五六十名馆员和工人投入到这场布展战斗中，还在从未安装过电灯的太和殿里架设了临时照明设备，吃饭喝水也指定专门人员负责送到工作现场，就连大小便也得在现场一个圈定的应急厕所内解决。就这样，王世襄等人经过三天三夜的连续奋战，终于按期完成了名为“伟大的祖国”这一展览。关于这一应急展览的陈列方案，王世襄在回忆中这样记述说：
陈列方案是临时草拟的，陈列柜几乎全部从别处抬来，自西而东依年代先后陈列展品。西端从商周青铜、玉器开始，除少数为南迁所遗外，不少选自德人杨宁史旧藏。首次面世，刘肃曾先生捐赠重约二百二十公斤的虢季子白盘，四人抬入殿内，只好放在临时搭好的台座上任人抚摸。接着是汉唐时期文物，陶俑、唐三彩等占较大位置；也有铜器、金银器、玉器、陶瓷等。宋元器物从殿的中部偏东开始，法书、名画展柜挨着金柱摆放，展品有易（培基）案（注：关于首任故宫博物院院长易培基被诬告盗取院中文物一案，笔者曾在“中国·世界遗产探秘丛书”《守望紫禁城》卷中有详细记述）被黄宾虹定为赝品，后又被葱玉兄（张珩）改正的宋徽宗《听琴图》和马麟梅花轴等。还有从溥仪天津故居保险柜中取出的马和之、赵孟頫、宋克的几件高仅尺许的宋元小卷。此外还有宋元官窑精品等。以下面积全部被明清文物占据，多不胜举。最后两件经我放入展柜的是故宫镇库之宝雍正珐琅彩雉鸡牡丹纹碗，和购自郭觯斋的乾隆仿古铜釉牺耳尊。因为它们最珍贵又最娇嫩，等大体摆好，场地较为平静时再出囊入柜较为安全。
即便如此，王世襄在捧着这两件国宝放入展柜时，依然是“腿发软，心发慌，手发抖，生怕万一闪失”，那他“将百死莫赎”了。
其实，如果单是工作遭受百般阻挠或者多有勉为其难的临时性任务交给王世襄的话，他还是能够逐渐实现其强馆之梦的，可事实上他身为故宫博物院人员却有太多的时间没能在院中工作。比如，1950年王世襄作为从旧政府过来者，被送到位于北京西苑的华北革命大学改造一年；此后，王世襄又作为广西南宁土改工作队一员，在队长田汉的带领下前往该地进行土改工作。而到了1952年，在广西南宁参加土改工作已经两个月的王世襄等人被紧急电召回京，火车一到站他们便被早已等候的卡车拉进了故宫博物院，并按要求所有人员暂住院中不得回家。面对如此紧急的紧张气氛，长途跋涉的王世襄等人暂住院中的那一夜是否还能安睡就不得而知了，反正第二天凌晨全院人员被分作两组送往东岳庙和白云观两处，开始了一场以反贪污、反盗窃和反浪费为主题的声势浩大的“三反”运动学习。名为学习，实际上就是要求从旧政府过来的他们向“打虎英雄”彻底交代自己的历史问题，而在“交代”前面还应该加上“勒令”这一前缀词，因为“打虎英雄”对待他们所采取的审查方式，是一种带有战术色彩的“疲劳轰炸”，也就是不许解释不准分辩夜以继日地突击审查。
关于王世襄这位“家庭出身不好，曾在洋学校读书、在国民党教育部清损会工作、收回大量被敌伪劫夺文物，并接受美国财团奖学金出国考察一年”等带有诸多问题的“大老虎”，遂成为“打虎英雄”突击审查的重中之重，并被单独监禁一室接受十多名“打虎英雄”的轮番“轰炸”。“打虎英雄”们审查王世襄的理由很简单，那就是“你是坐飞机来的接收大员，专职就是‘接收’文物，连副代表都没有来。有这样的好机会，哪能不伸手捞一把？所以我敢百分之百地断定你有盗宝行为”！另有一位“打虎英雄”则说：“你在短短两年内收回七批文物，还从东京运回善本书。如果你没有好处，岂肯如此日夜操劳，尽心尽力？！”面对“打虎英雄”们这一极为荒唐的审查逻辑，王世襄本想从自己出身几代清廉官宦之家，对文物和艺术无比热爱的心理出发，将自己身许故宫博物院并立志要将其建设成为世界一流博物馆的理想，以及在朱桂老的指导和策划下如何追回国宝等经历，一一详细如实地向“打虎英雄”们进行交代。没想到他刚解释了几句，便被一位“打虎英雄”喝令停止，并声色俱厉地大声训斥道：“你的花言巧语骗不了我们，只能增加你的罪行！”另一位“打虎英雄”则说：“朱桂老是什么人？你老提他，把他的名字写给我看看。”而当王世襄工整地写下“朱桂辛，名启钤”几个字时，那位“打虎英雄”竟然说：“什么‘桂’呀，‘铃’呀（把‘钤’读成‘铃’），是个旦角演员吧？”对于“打虎英雄”们如此粗俗无知，王世襄明白他的任何解释都毫无用处，于是干脆一言不发了。既然王世襄如此“顽固不化”，“打虎英雄”们更是认定他犯有极为严重的盗宝罪，用力拍打桌子等威胁恐吓手段都一一使用上了，可王世襄却交代不出一件让他们感到兴奋的事。
王世襄本人交代不出问题，本来就让“打虎英雄”们恼火，可他还“阻挠”别人“交代”问题，这让“打虎英雄”们更加大动肝火，决定“判处”王世襄死刑并宣布立即执行枪决。对此，王世襄后来曾这样回忆说：
故宫同事李连镗，工资有限，但喜欢收集丝织刺绣小品，如荷包、烟囊、扇套、经板等。此类之物并不值钱，古玩店不收，只有挂货铺、晓市和街头地摊才有。我有时遇见他买这些物品。运动中他被逼得无奈，只好把买的东西送呈队部，声称都是偷故宫的，立即受到表扬。我因受毛主席的教导，坚信事事必须“实事求是”，既然确知那些小件都是李连镗花钱买的，不是偷故宫的，就认为该实话实说，不能弄虚作假。何况“三反”是严肃的政治斗争，如人人以假乱真，真盗宝犯岂不反能蒙混过关。我认为说明真相实有必要，因此到队部说明此事。不料第二天停止一切活动，特别为我召开一个全体大会，大殿前神道正中摆一张桌子，设宣判者席，命我跪在神道正中方砖地上，两旁士兵持枪排列。宣布王世襄罪大恶极，不仅自己拒不交代，还破坏他人交代，罪不容诛。批斗时千人高喊口号，声震殿瓦。对这从未见过的阵势，未免有些恐慌。随即宣布已呈报上级，批示后，立即枪决。我不了解国家刑法，真以为末日已至。此时曾一度萌生自杀之念，觉得被人枪毙还不如自己上吊。
经过一夜辗转反侧激烈的思想斗争之后，王世襄觉得“倘为了如实汇报而被处死，官方必将承担误判之罪，被批斗者自杀，不仅白死，还犯了‘自绝于人民’之罪，故万万不可”！当然，“打虎英雄”们所采取的这一招，并非真的要将王世襄枪毙了事，而是希望通过这声势巨大的威胁恐吓让他彻底交代自己所犯“罪行”。不料，王世襄既然已经抱定了绝对不能自杀之念，反而变得更加坚强，以致后来即便是无中生有更严重的污蔑，他也表示“只要活得长，一定能笑到最后”。
不过，“打虎英雄”们认为既然你王世襄如此“顽固不化”，便转而采取了一种迂回策略，那就是想从通过寻找院长马衡的盗宝证据来打开王世襄这块坚固堡垒的缺口，但是他们选择的突破口又失算了，那就是他们认为王世襄经过这次“审判”应该变得聪明些，会作为院长亲信揭发马衡盗宝行为而减轻自己的“罪行”，而由此“打虎英雄”们相信这也必将最终牵连出王世襄自身的盗宝行为。然而，“打虎英雄”们这一自以为高妙之计，却被王世襄的“揭发”愚弄了。对此，王世襄在回忆文章中这样记述道：
他们先逼问马院长如何指使我为他盗宝并设法潜移院外。我说：“绝对没有。”又追问马院长可曾指使我拿文物给他。我说这倒有过。他们一时兴奋起来，问：“你给他拿的是什么文物？”我说：“宋代名画。”他们更兴奋了，又问：“随后又怎样？”我说：“院长命我送往陈列室展出。”
可以想见，王世襄这一“开玩笑”式的“供述”，实在让这些“打虎英雄”们气急败坏，而王世襄却坦然回应说：“不是开玩笑，是事实，而且是你们要我讲的。”
荒唐时代自然容易产生荒唐事情，而且层出不穷的荒唐事情实在是引人发笑也让人深思。对此，王世襄就曾回忆了这样一件可笑之事：
当时和我同关在东岳庙的有金毓鋆先生，满清宗室，北洋政府时期曾在驻挪威使馆任职，年逾六旬，是一位胆小怕事的好好先生，因对古玉有研究，受聘故宫而卷入运动。他受不了无休止的逼迫，只好胡编乱造，说偷了若干件玉器。经查明故宫没有此物，“打虎英雄”们认为他用假交代来掩盖真盗窃，斗得更狠。和金老关在一室的有科员张宗良，是个真盗窃犯。因交代材料都核对属实，并从家中起出赃物，所以受到表扬，命他仔细回忆，继续交代。金老看在眼里，十分气愤，认为太不公平：小张真偷了，反倒有静坐思考、喝茶抽烟的时候；我清清白白，竟整天挨斗，真是岂有此理！受审者每次去厕所都有人跟随，以防串供。一天张宗良在前，金老在后。事有凑巧，尾随者失职，没有跟上。金老加紧几步，小声地对张说：“二哥（实际上金老比张大二十多岁）！二哥！救救我吧，把您经手（此二字妙）的匀我两件好交代，要不实在活不了了！今后如能活着出去一定好好请请您！”
可以想见，金老殷切诚恳所求匀者并非什么珍贵之物而是贼赃，这种荒唐之极的事情非在那个荒唐时代岂能产生？举此一例别无他意，只想说明王世襄在那种非常时候竟然敢对“打虎英雄”们开以上之玩笑，岂不是自讨苦吃吗？果然，东岳庙四个月“学习”结束后，大多数人员都回到了故宫博物院，即便是真有盗宝行为但交代彻底坦白者也依然留用，而“拒不交代”的王世襄在回到家中仅仅两天之后，便接到派出所要求他前往问话的通知。当他心怀忐忑地一迈进派出所大门，便被铐上手铐，随后被派出所雇的三辆三轮车直接押送到了前门内路东那朱红大门的公安局里，从此开始了他长达十个月的铁窗生涯。
初进监狱，王世襄便不叫作王世襄，而叫三十八号，每当听到这一吆喝，他都必须高声答“有”，否则遭到呵斥可能算是客气的了。在看守所的十个月里，王世襄“享受”了犯人应有的一切“待遇”，比如手铐脚镣等。至于沿袭千年在牢房尽端放置尿桶的旧制，王世襄初入牢房也必须按规定将铺盖放在靠近尿桶处，只有等到进入新一号犯人时才能挪移一个铺位，一个多月后他渐渐离开了那散发着刺鼻腥臊味的尿桶，但是同处一室那气味又能好到哪里去呢？
当然，监狱生活免不了要接受一次次的审讯，负责审讯王世襄的是一位年过半辈的“老班长”，审讯态度不似“打虎英雄”那样粗暴，每次都只是问一些问题，并让将沉重的手铐脚镣去掉。除了接受审讯之外，王世襄和所有犯人一样还要参加一些必要的改造性劳动，比如糊火柴盒等。这样的劳动虽然并不劳累，但是早晚两餐窝头咸菜的生活，依然使身强力壮的王世襄逐渐感到乏力。
十个月后，当王世襄出狱时竟然步履踉跄，还未走出监狱大门就已气喘吁吁了。数日后王世襄到医院一检查身体才明白，原来在监狱里由于是众多犯人同吃一盆饭菜，使他传染上了严重的结核性肋膜炎。伴随结核病而来的，当然还有公安局发给王世襄“取保释放”的通知，以及随后国家文物局发给他上面写有“已开除故宫公职，可去劳动局登记，自谋出路”内容的一纸冷冰冰的公文。那么，拖着严重结核性肋膜炎病躯的王世襄将何去何从，他奉献故宫博物院并立志强馆的梦想还能够实现吗？
其实，“三反”运动过后王世襄还是有机会重返故宫博物院的。彼时，那位飞扬跋扈的党代表已被调离，器重他的院长马衡虽因肺癌而抑郁逝去，但是接替院长之职的是吴仲超先生。这位极为爱惜人才的院长吴仲超，上任不久便通过文化部领导与中央音乐学院民族音乐研究所协商，想将已经就任该所副研究员的王世襄重新调回故宫博物院，但是时任该所所长杨荫浏和副所长李元庆两人都没有同意，而当征求王世襄本人意见时，对故宫博物院仍然心有余悸的他也没有明确表达自己的态度，此事就此搁浅。
既然不能将王世襄调回故宫博物院工作，院长吴仲超便想出了一个折中的方法，那就是于1957年先后聘请王世襄为故宫博物院“历代艺术专门委员会委员”和“文物修复委员会委员会委员”，希望他每周能到故宫博物院协助工作一两次，为此还专门在御花园西南角为王世襄设置办公室及午休床榻。此后半年间，王世襄曾前往故宫博物院参加过几次会议和文物鉴定工作，但是不久又因被中央音乐学院民族音乐研究所划为“右派”，便再也不宜到故宫博物院参加这类工作了。
时间到了1966年，已经摘去“右派”帽子的王世襄虽然“归队”来到文物博物馆研究所工作，并再次被故宫博物院聘任为“非文物审查委员会委员”，但是史无前例的“文化大革命”已经开始，就此王世襄彻底脱离了他魂牵梦萦的故宫博物院，他的强馆之梦也终究成为一梦而已。
如此，下面不得不进入王世襄的人生晦暗时期，而同时，这也是他成就辉煌事业极为重要的积累酝酿时期。