柳世隆字彦绪，是河东解人。祖父柳凭，曾任冯翊太守。父亲柳叔宗，去世比较早。
柳世隆少年时就很有风仪器度，伯父柳元景，在宋朝大明时期(457～464)做过尚书令，对世隆特别赏识喜爱，超过其他几个孩子。又把世隆的情况讲给孝武帝听，于是孝武帝召见了世隆，孝武帝说：“此人将来能做到三公呢。”海陵王刘休茂做雍州刺史时，召聘柳世隆为迎主簿。后来被任命为西陽王抚军法曹行参军，出任虎威将军、上庸太守。孝武帝对元景说：“你过去曾以虎威将军之号出任随郡太守，现在再把此职授予世隆这便可以使你柳门世不绝公了。”柳元景后来被景和皇帝(刘子业)杀害了，柳世隆由于身在远方而幸免于难。
泰始初年，诸州反叛，柳世隆由于家门之祸得到了昭雪，这事是由宋明帝作主的，于是便依据相郡起兵，派遣使者响应朝廷。弘农人刘僧駘也聚众响应。他收合了上万人，忽地赶到襄陽万山，被孔道存攻破，手下人都逃散了，只他自己保了条性命，逃藏到民间，事情平定后才出来。回到京城后，柳世隆被任命为尚书仪曹郎，明帝为了嘉奖他的一片义心，发诏提拔他为太子洗马，出任宁远将军、巴西梓漳太守。还朝来任越骑校尉，转任建平王镇北谘议参军，领南泰山太守，转任司马、东太守，入为通直散骑常侍。
不久柳世隆便任晋熙王安西司马，加宁朔将军。当时世祖(萧赜)任长史，与柳世隆相识后相处很是投机。太祖(萧道成)打算废掉广陵王，命令世祖率众下属，同会京城，柳世隆则与上流萧景先等戒严待命，这事当时没弄成。
这个时候朝廷对沈攸之颇怀疑惮，暗中作了防备，府州武器，平时都有储备。世祖将回都城，刘怀珍提醒太祖说：“夏口是兵冲要地，必须找个合适的人安排在那儿才行。”太祖采纳了他的意见，给世祖写信说：“你既然要回朝廷来，就必须找一个文武兼备又与你关系投合的人交待后事，而柳世隆是最恰当的人选。”世祖便推荐世隆来代替自己。柳世隆转任武陵王前军长史、江夏内史、行郢州事。
升明元年(477)冬天，沈攸之反叛，派遣辅国将军中兵参军孙同、宁朔将军中兵参军武宝、龙骧将军骑兵参军朱君拔、宁朔将军沈惠真、龙骧将军骑兵参军王道起三万人为前驱，又派遣司马冠军刘攘兵领宁朔将军外兵参军公孙方平、南齐书龙骧将军骑兵参军朱灵真、沈僧敬、龙骧将军高茂二万人紧随其后，又派遣辅国将军王灵秀、丁珍东、宁朔将军中兵参军王弥之、宁朔将军外兵参军杨景穆二千骑兵分兵出夏口，据鲁山。沈攸之乘轻舸带领数百随从先于大军下往白螺洲，坐在胡床上看着自己的大军，很有些得意神气。到达郢州后，他觉得郢城太弱小不足攻打，便遣人告诉柳世隆说：“根据太后的命令，要暂时回都城去，你我既然同为国家效力，我的意思你也该明白。”柳世隆使人答复说：“部队东下，我们早已打算离去。”柳世隆派军在西渚挑战，沈攸之果然愤怒，下命渚军登岸焚烧城郭，筑建长围攻道，对身边的人说：“以此攻城，何城不克！”昼夜攻战，柳世隆只是作适当的抵抗，众人皆散开去。世祖临行前和柳世隆版别时说：“沈攸之一旦有变，焚夏口舟舰沿流而东，那么我们坐守空城，便制约不了他。要引诱他来攻城，但又不能让他很快攻克。这样你在他里边打，我在他外面攻，便无忧患了。”到这时，世祖便派遣军主桓敬、陈胤叔、苟元宾等八支大军占据西塞，令他们坚壁以待沈攸之疲惫。世祖又担心世隆危急，便派心腹胡元直偷偷进入郢城向世隆通报援军消息，于是内外并喜。尚书符中说：
沈攸之出身农家，世代无闻。已故司空沈公是他的从父，对他爱若自己的儿子，并为他提携吹嘘，才使他得以升官。景和皇帝昏庸悖慢，对大臣猜忌畏惧，而沈攸之凶暴残忍，趋利乐祸，领了诏旨后，而反咬一口。又沈攸之与谭金、童泰壹等暴宠狂朝，都是皇上得力将臣，同功共体，人称“三侯”。当时的亲昵程度，超过管、鲍，后来碰上朝廷变革，凶党们害怕被杀戮，沈攸之又反过来贪图自保，既杀了从父，又虐待朋友，即使是吕布的出卖君主，郦寄的陷害朋友，比起沈攸之来，也不及他残酷。泰始皇帝执政才开始时，法网宽枕，对于沈攸之，朝廷忽略了他的凶险，只重视他的勇猛，于是他借助混乱获得了保全，又利用了祸难而享福禄。
沈攸之秉性空浅，骄躁而无谋略，浓湖战役，本非他自己的功劳，而在彭城、下邳的时候，他又望旗夜逃，丢下王师不管，对他早就应该绳之以法，却巧值先帝宽宥其回溪之耻，并指望着能打胜仗，所以才使他侥幸又被提拔，频频被授予显要职务。在内掌握着宫廷禁卫，在外统治着万里城乡。皇上临死时，还那么老远地颁诏请他参与顾命，寄托何其深重，此情此义，虽金石也能感动。而沈攸之始奉国丧时，便喜形于色，普天同哀，就他自己以为喜庆。随后他不断出任地方要职，从郢州到荆州。晋熙王以皇弟的身份前往代任，沈攸之截断了迎接，肆意凌侮。并挑选了精锐的士马器械，供自己使用。郢城所留，十不余一。专恣掳夺，根本不顾国法。他到荆州后，一直运用奸谋，既心怀异志，便要无端生事。于是逼迫群蛮，騷扰山谷，又扬言要大举讨伐，要家家出丁。聚众城郭，窥伺国家的衰盛时机，多少年来，不求解甲。遂造成四野百县，路上不见男人，耕田载租，全都驱使妇女和老弱。如此酷虐，自古未闻。
往年桂陽王内乱，朝廷危急。沈攸之官居上层，兵强地广，本应发兵勤王。但是他只挑选一些病弱士卒，不满三千人，到郢州接受指挥，他是想等到形势明朗时把罪责推给晋熙王。他招诱剑客，扣留行侣，对逃亡到他境内的人，他总是给予保护，而对外逃人员，他又总是穷追不舍。视官吏如仇敌，拿老百姓当草芥，增加赋税，加重刑罚，鞭挞国士，活像异族，一人逃亡，全族逮捕。皇朝的赦令，他也不遵奉。使得皇上的宽大恩泽，长期不能落实到当地，十有九家，人怀怨望。如今他又举兵内乱，而又有奸回外炽，这正是他恶熟罪成之地，也是朝廷决..溃疽之时。各幕府负有朝廷深重寄托，义愤百倍，统御将帅，恭行天罚！
今派遣新授职的使持节郢州、司州的义陽诸军事平西将军郢州刺史闻喜县开国侯黄回、员外散骑常侍辅国将军骁骑将军重安县开国子军主王敬则、屯骑校尉长寿县开国男军主王宜与、屯骑校尉陈承叔、右将军葛陽县开国男彭文之、骠骑行参军振武将军邰宰，精锐甲兵二万人，为先头部队。又派遣散骑常侍游击将军湘南县开国男吕安国、持节宁朔将军越州刺史孙昙馞、屯骑校尉宁朔将军崔慧景、宁朔将军左军将军新亭侯任候伯、龙骧将军虎贲中郎将尹略、屯骑校尉南城令曹虎头、辅国将军骁骑将军萧顺之、新授宁朔将军游击将军下邳县开国子垣崇祖等，率水军二万，紧随其后。又派遣屯骑校尉苟元宾、抚军参军郭文考、奉朝请诸袭光等，率水路轻军一万，截断沈攸之的要道渡口。骁骑将军周盘龙、后将军成买、辅国将军王来力勤、屯骑校尉王洪范等，率铁骑五千，从陆路步行跟上，截断对方的逃藏后路。持节、督雍梁二州郢州之竟陵司州之随郡诸军事、征虏将军、宁蛮校尉、雍州刺史、襄陽县开国侯、新授镇军将军张敬儿，志节慷慨，特命率其所部从樊、邓之军，水陆并驰，攻破沈攸之的巢穴。持节、督司州诸军事、征虏将军、司州刺史、领义陽太守范陽县侯姚道和，义烈梗概，特命率其所部立刻南齐书起程，以风驰电掩之势，袭击沈修之的辎重供应。四方万里，旌旗飞动，诸位各率众师，浩荡进军。人神同愤，远近一心。
当今皇上圣明，将相仁爱，约法三章，宽刑缓赋，年成丰收。家家充足，在上者有惠民的恩泽，在下者没有乐乱的心情。沈攸之不识天时，狂妄地进行大逆之举，出动他的无名之师，驱使那些仇怨他的人众，所以朝野都知道讨伐他乃是轻而易举的事情。他那里的士民，受害日久，如今又被他逼迫到战场上去送死。战事一旦开始，兵刃是不分好人坏人的，你们要先考虑好，作出选择，朝廷是不愿意让一个人执迷不悟，而使其九族受祸的。宽宏的政策，如同皎日一样。
沈攸之既攻不下郢城，而平西将军黄回的大军已经到了西陽，他乘三层战船，奏羌胡会乐，逆流而进。沈攸之平时就不得人心，这回本就是威逼下属反叛的，因此从江陵出发时，就有人叛逃，到这时更加多起来。沈攸之一早到晚乘马到各营去抚慰，而逃跑的人还是不断。沈攸之于是大怒，召诸军主帅来说：“我是遵照太后的指令，为了正义才下都城的，大事若成，富贵荣华大家都有份儿；如果不成，朝廷当然要杀我家族，和他人无关。近来军人叛逃，都是你们没能留意，我也不能一个一个去问他们，以后军中再有叛逃者，军主要承担罪责。”于是有一人叛逃，便派十个人去追，结果是逃的和追的都不回来了。大家虽不敢声张，但都在自谋出路。刘攘兵用箭射信给柳世隆表示投降，世隆便开城门让他进来。攘兵烧营离去时，大火燃烧，沈攸之才发觉，于是恼怒，咬着胡须咒骂。又把刘攘兵哥的儿子刘天赐、女婿张平虏抓来杀了。这下更使军旅大散。沈攸之渡过鲁山岸时，只有数十骑兵跟随着。他宣令军中说：“荆州城中钱多得是，可回去取来，作为资粮。”郢城还没有兵，而散军害怕被蛮人抄掠，又聚合起来，大约有二万人，跟随沈攸之，快到江陵的时候才散去。柳世隆派遣副将刘僧駘在路上追击沈攸之。
沈攸之死后，朝廷调柳世隆任侍中。又迁任尚书左仆射，封为贞陽县侯，食邑两千户。出任左将军、吴郡太守，增加俸禄到二千石。后来他母亲去世，便在家服丧。太祖登基为皇帝后，起用世隆为使持节、都督南豫州、司州诸军事、平南将军、南豫州刺史，晋封公爵。皇上亲笔诏书给司徒褚渊说：“不久前见到世隆哀伤毁瘠过甚，都快认不出来了，不仅让人恻然。实在也应得到世人国家的珍惜和爱护。”褚渊回答说：“世隆至性纯深，哀伤已超过礼节的要求。服事陛下能在危急中尽忠，母亲去世他忧伤到这种地步，这二者都是立人之本，应当为他加荣增宠，足以引导风俗。”
建元二年(480)，进号安南将军。这时北虏寇掠寿陽，皇上指示柳世隆说：“历陽城太大，恐怕治理不过来，正好可以隔断了治理，坚固保守。要让老百姓都带着家小保守此城，若是单身的人很难指靠。”不久又指示说：“我认为应该保留历陽外城，如果有贼来，便命百姓守城，所以比割弃要好得多。”
垣崇祖攻破北虏后，皇上打算撤并二豫州。指示柳世隆说：“近来考虑到江西萧索，二豫州不容易处理。很多人建议撤掉一个充实一个，比较方便。我也觉得不错。你以为如何？想听听你的意见。”不久，任命柳世隆为后将军、尚书右仆射，没接受。柳世隆喜欢博览群书，曾启禀太祖借国家图书馆里的书看，皇上给了他二千卷。
建元三年(481)，出任使持节、都督南兖、兖、徐、表、冀五州军事、安北将军、南兖州刺史。江北害怕虏寇，騷动不安。皇上指示世隆说：“近来北边有消息说，贼方还在彭城治兵，快到年底，也许不会来送死。不过豺狼心性是不能按常理推想的，因而防备工作不可懈怠。那里的城郭既然没有关要供凭据，因而应当开掘城河，离城三十丈比较合适。你只管发动民众施工便是，没关系的。如果按三千人计算，得食用多少粮米？你可以申报并附信送还来我看。民间如果有男丁多而家眷少的，都让他们来守卫，也没什么问题。”又指示说：“昨夜得北边来人报告：钟离一带的贼军已经渡了淮河，既然他们前来送死，你便予以剿灭。你好好布置一下，应急令各小守卫立即回镇所，不能贼军到了还没发觉。贼军既已过淮，就不会很快散去的，他们一定要找到该送死的地方才行，所以一定会进攻寿陽，我会派援前往的。”皇上又派军援助柳世隆，并拨给军粮。
北虏退后，皇上想对江北居民进行统一编定人口户籍制定赋税徭役(此即“土断”)，又指示柳世隆说：“吕安国近不在西边，土断了郢、司二州境内的杂民，很好，民众基本上消除了惊恐。最近又令豫州对境内实行土断，得到崇祖的启书，说是已进行完了，近来没有杂民云云，很符合前代旧意。你看看兖州境内能行此事不？如果没什么麻烦，开春就可以着手进行了。”足见皇上对柳世隆是如此亲信委重。
世祖即位后，加柳世隆散骑常侍。柳世隆善于占卜，识别龟甲，他那副龟甲价值一万。永明建号时，柳世隆在斋壁上题字道：“永明南齐书十一年。”又对典签李党说：“我是看不到永明的结局了。”柳世隆后回朝中任侍中、护军将军，迁任尚书右仆射，领太子右率，雍州大中正，不接受，改授散骑常侍、尚书左仆射，中正仍旧。
湘州的蛮部有所騷动，朝廷派柳世隆以本官总督伐蛮诸军，仍为使持节、都督湘州诸军事、镇南将军、湘州刺史，常侍如故。世隆到达镇所，用方略讨平了蛮间。在州里建立宅邸经营家业，被中丞庾杲之所奏劾，皇上下诏原谅不问。又回朝任尚书左仆射，领卫尉，不接受。转任尚书令。
柳世隆早年时便建立了功名，晚年则专以谈论道义自业。善弹琴，世人称之为柳公双趜，为士品第一。经常说自己是马..第一，清谈第二，弹琴第三。在朝任官不管世务，只是垂帘弹琴，风韵清远，深受世人赞誉。由于生病而退职，改授他侍中、卫将军，不接受，转任左光禄大夫，侍中仍旧。
永明九年(491)，去世，当时五十岁。皇上诏给东园秘器，朝服一具，衣一袭，钱十万，布三百匹，蜡三百斤。又下诏说：“已故侍中左光禄大夫贞陽公柳世隆，秉德居业，兼有经纬天下之才。少年时便清誉远扬，长大后更增美名。入朝参与内禁军务，出朝协助西边治理，在郢城专负重托，挫败沈攸之，功勋卓著，超越前代。后来领导地方工作，老百姓赞颂他的宽宏大德，辅助皇帝执政，满朝都称赞他的正派。他的忠诚美好，朕都记在心上，他的雅志素履，却是难以企及。正当他将要登位三公，参与教化天下大业的时候，不幸去世，让朕震恸良深。赠司空、班剑仪仗三十人，鼓吹一部，侍中之号依旧。谥号为‘忠武’。”皇上又在给吏部尚书王晏的敕中说：“世隆虽多年抱病，但志气未衰，原指望医药有效，不久痊愈。不料一旦去世，我哀痛之深，无可言表。他当年在郢州，一片忠诚，促使一蕃，勋业卓著。一旦离去，令人增泣悲咽。你也怀有同样的感情，也应该是悲伤不已吧！”
柳世隆通晓术数，在倪塘创墓时，和宾客一起确定位置，大家选来选去，世隆只是常坐在一处。到他死后，墓址恰好就选在他坐的地方。著有《龟经秘要》二卷，流行世间。