刘彦节在少年时候就以宗室中的清雅恭谨者而知名。孝武帝时，他弟弟刘遐因为私通嫡母殷氏的养女云敷，常常被殷氏禁闭。殷氏死了以后，口中出血，众人怀疑是刘遐毒害的。孝武帝让刘彦节的堂弟刘祗启发刘彦节出面证明这件事。刘彦节说：“过路的人尚且不应该这样，今日怎么可以同门的人一块都死？我不能接受圣旨。”众人因此对他非常称赞。
后废帝即位，他逐步升迁为尚书左仆射，参与选拔官员。元徽元年(473)，兼管吏部，增加兵士五百人。桂陽王刘休范反叛，中领军刘面力出京守卫石头城，刘彦节临时兼任领军将军，所派给他的卫兵跟随进入宫殿。封为当陽侯，与齐高帝、袁粲、褚彦回分天入宫值勤，平等地决定机要大事。又改任中书令，加官为辅军将军。后来皇帝被废为苍梧王，刘彦节出去参加集体议事，在路上遇见了堂弟刘韫。刘韫问他说：“今天的事，当然应该归于兄长了吧？”刘彦节说：“我们已经让出了领军了。”刘韫捶着胸脯说：“兄长肉中难道还有血吗？今年我们要全家被杀了！”齐高帝听说后非常厌恶。顺帝即位，刘彦节转任中书令。当时齐高帝辅政，刘彦节知道宋朝的天命将要完结，秘密地怀有异图。
沈攸之起兵后，齐高帝入京屯驻朝堂，袁粲镇守石头城，暗中与刘彦节以及诸位大将黄回等人谋划夜会石头城，决定次日凌晨出发。刘彦节平素怯弱，慌乱不能自安。下午后半晌，便从丹陽郡用车拉上妇女，全部奔向石头城。临走的时候，妇人萧氏强劝着让他吃些饭，刘彦节端着羹糊，洒在了胸前，手一直在发抖，不能自控。他的主簿丁灵卫听到危难消息，立即进宫，对身边的人们说：“今天的事情，难以成功，但我受了刘公的厚恩，坚守信义，决无二心。”等见了袁粲，袁粲惊愕地说：“怎么现在就来了？事情现在要失败了！”刘彦节说：“今天能够见到您，就万死无恨了。”他的堂弟刘韫在台省值勤，和直阁将军卜伯兴谋划这天夜里共同进攻齐高帝，正遇上刘彦节的事情被发觉，秣陵令刘实、建康令刘遐秘密地报告了齐高帝，高帝连夜派骁骑将军王敬则把他抓住杀死，卜伯兴也同时遇害。袁粲失败，刘彦节越过城墙逃走，在鹅檐湖被捉住杀死。刘彦节的儿子刘俣和弟弟刘陔曾经赋诗说：“城上草，植根非不高，所恨风霜早。”当时都说这是妖句。事情失败后，刘俣和刘陔剃了头发、披了法服逃向京口，在客舍被人认出，抓到了建康监狱全都杀死。
当初刘彦节身份变得高贵以后，士子除了三署的官员都不会被让到上方的坐榻上，当时的人们因此而对他很有微词。他的妻子是萧思话的女儿，常常害怕遇祸败亡，经常说：“您的富贵已经足够了，所以应该为儿女考虑。”刘彦节不听，所以遭了祸患。
刘彦节的弟弟刘遐字彦道，因为嫡母殷氏暴死，有关部门对他进行纠弹，把他迁到了始安郡。后来得以返回，位居吴郡太守，到现在也被杀死。刘遐人材非常平凡，自己忌讳自己的名字像君主忌讳自己的名字一样，常常对客人说：“孝武帝无道，冤枉地杀死了我的母亲。”他就是这样地呆痴。等刘彦节当了权，刘遐多次要求做地方诸侯。刘彦节说：“我在这个地位，而任用你做州郡长官，在名声上很不好听。”刘遐说：“富贵了就说不能彼此相关，如果是连坐的时候，能够幸免吗？”到现在果然也被杀死。