其实在五花八门各种娱乐之中，杜月笙眞正喜爱的，还是听「说书」。他因为自幼失学，中年以后，认识的字并不多，一部通俗演义武侠小说，他也很难逐字辨认下去，但是他偏又喜欢历史说部，小说演义。于是前后有很长的一段时期，他每天请来上海最有名的说书先生，替他开讲大部头的小说，如三国、水浒、东周列国，上海的说书先生，有所谓说「大书」，与说「小书」之分。「大书」说的是历史兴替、英雄侠义，「小书」则为言情小品，民间传奇。杜月笙由于兴趣关系，他只听「大书」，请个「先生」，一讲便是一年有余。他对于听书是很认眞的，开了讲便决不中辍，每天不论怎样忙，听书时间一定要先抽出来。除此之外，他还「边听边读」，一面聚精会神，听看说书先生声容并茂，绘声绘影的表演。另一方面，他手中要拿一卷「大字本原著」，以便一一对照帮助自己识字，同时考察说书先生有否偷懒漏脱。
于是乎说书先生往往就很紧张，然而杜月笙在这段时间确是很轻松的，那时候他家里已雇得有法文翻译、英文翻译，机要秘书和账房师爷，这批人连同他的太太、儿女，首先是对旧小说不生兴趣，二来则要看书不妨买来自家看，不劳说书先生「口传心授」，因而他和她们向不参加听书。眞正和杜月笙一样乐之不疲的，全是他那些亲随与旧侣，诸如同参弟兄袁珊宝、马阿五、马祥生，以及万墨林、陆阿发、陆桂才等人，和这般人在一起，或坐或卧，或谈或笑，轻松自然，不拘形迹，使杜月笙感到份外的欣快和欢愉。他们有时候会浑金璞玉，还我原来面目，开开顽笑打打棚，甚至拿那些道貌岸然、惺惺作态的绅士贵客，背底下调侃一番。
这种「听说书」的兴趣，杜月笙算是保持了大半辈子，往后他到香港，到重庆，都曾千方百计，自上海重金礼聘说书先生来，替他每天开讲。
除了听书以外，跳舞他是逢场作戏，偶一为之，听戏票戏，虽然一向兴致颇浓，但自民国二十年以后，由于事忙体弱，时间铺排不开，戏还偶或听听，唱就不大来事。唯一的例外是民国二十五年，蒋委员长五十华诞，那一天他特别兴奋，曾经在漕河泾黄家花园，又登台表演了一次，从此，杜月笙的浦东腔京戏，无疑成为广陵绝响了。
唯有赌博，成为他一辈子里持续不断，乐之不疲的「消遣」，杜月笙一生一，几乎从来不曾断过赌，他由儿时的试赌，少年的滥赌，靑年的溺赌，直到中年后的豪赌。赌注大小，水涨船高，民十左右，麻将挖花，一场输赢，动辄上万，连黄浦滩上都传为美谈。及后到了重庆，由于币值日贬，他和四川财阀刘航琛、康心如兄弟辈赌起钱来，胜负之数，更是惊人。
时人以为杜月笙既以烟赌而起家，开过规模宏大，允称全国第一的大赌场，若以常理揆之，他的赌术一定很精，事实上，任何一位跟杜月笙常常赌钱的朋友，谈到他的赌术，每每笑着摇头，他们总是说：
「杜先生赌是不灵的。」
不过有一点，杜月笙自己赌术不行，却是他能捉「老千」而用「老千」。