胡颂平《胡适之先生晚年谈话录》1960年3月10日条下，记录雷啸岑去拜访胡适，胡适“谈起《自由人》上有些文章太不行了，是不是为了推销的关系？先生（指胡适）的意见，宁可减低推销，不可降低标准。”事实上，胡颂平这一记录太潦草了。潦草的程度，一对照起雷啸岑的回忆，便可明白。
1964年8月19日，雷啸岑在《自由报》上写《我的社会生活》，里面说：
香港是外国殖民地，也是一个本身没有什么生产力，而专靠产品加工、转口以维生存的工商业都市。一般市民对政治问题多不感兴趣，他们每天看报纸的唯一注意之点，就是社会新闻和武侠、侦探小说之类，关于政论文字大家漠不关心。然《自由报》的内容，是以政论文字为中心的，这跟香港大多数民众的胃口不相投合，就生意经设想，可说是先天的基本缺点，然就文化思想斗争关系看，实属应有之义。在创刊伊始，为着迁就现实环境，曾刊载了一篇武侠小说，等我到台湾晤及胡适之先生时，他以严肃的态度对我说道：“为什么你办的报，亦登载那种时代落伍的武侠小说呢？”答以旨在应付环境，希望报纸能打开销路而已。他又说：“你是为理想而办报呢？抑是为营利而办报？我相信你的目的是属于前者，那么，以有限的宝贵篇幅，似不宜刊载与现代文化思想潮流相背驰的文艺作品吧？”我无词以对，马上把武侠小说停刊了。幸而这篇小说乃是好友彭浩一兄所写，而且是义务帮忙性质，声明不受酬的，因而彭兄很谅解我，无所容心。但我对适之先生的关怀指教，铭感殊深。
提倡文学革命的胡适，是看不起武侠小说的。每在有人提起武侠小说，他就连说：“下流！下流！”意思是这种东西是不入流的、为有识有水准的知识分子所不取的。他劝雷啸岑不要刊登这种“与现代文化思想潮流相背驰”的“落伍的”东西，纵使减少了报纸的销路，也应在所不惜，是一种很讲原则的劝告。我常说现代人思想的退步，许多方面还不如五四，下作的知识分子写武侠、看武侠，便是其中之一。看到胡适对武侠小说的态度那样明朗、那样坚定、那样不妥协，甚感此公先得我心，所以排比两段资料，综述如上。1987年2月11日