王僧虔，是琅笽临沂人。祖父王繤，在晋朝做过司徒。他的伯父就是太保王弘，在宋朝元嘉时代是朝中的宰辅重臣。宾客中有人对他的避讳不太清楚，王弘说：“像我的避讳和苏子高一样。”王僧虔父亲是王昙首，官至右光禄大夫。有一回王昙首兄弟的各个子孙在一起会集，王弘的儿子王僧达下座到地上跳跃游戏，王僧虔当时才几岁，却独自正儿八经地坐在那里采蜡烛上的珠子制作凤凰。王弘说：“这孩子早晚是要做大官的。”
王僧虔还不到二十岁时，就养成了弘厚的性格，而且善于写隶书。宋文帝看到他书写的白绢扇面，赞叹说：“不仅墨迹超过了王子敬，而且器度高雅更胜一筹！”任命南齐书王僧虔为秘书郎，太子舍人。僧虔平时谦退而不大与人交接，只和袁淑、谢庄关系比较投机。转任义陽王文学，太子洗马，迁任司徒左西属。
他的哥哥王僧绰，被太初“皇帝”刘邵所害时，亲人宾客都劝僧虔逃避一下。王僧虔则流着泪说：“我的哥哥他为国家忠贞不渝，对我慈爱非常，他今天被害，我只恨不能见他一面。如果能和他同归九泉，那便好比成仙升天一样呀！”孝武帝初年，王僧虔出任武陵太守。他哥哥的儿子王俭在路上生了病，僧虔为此废寝忘食。同行的宾客都来劝慰他。王僧虔说：“当年马援用同样的感情对待儿子和侄子，邓攸对待弟弟的儿子更超过自己所生，我的心情和他们相同，与古人的确没什么不同。王俭是我死去的哥哥的后代，不应有任何忽视。如果此儿不得救治，我便要回舟辞职，哪还有兴致出来做官啊！”后来王僧虔被调回京城任中书郎，转任黄门郎，太子中庶子。
孝武帝有心在书法界获得名誉，王僧虔便不敢显露自己的墨迹。大明年间(457～464)，他常常故意用拙笔书写，因此才得到孝武帝的容留。后来僧虔出任豫章王刘子尚的抚军长史，迁散骑常侍，又任新安王刘子鸾的北中郎长史、南东海太守，行南徐州事，这两个蕃王都是皇上心爱的儿子。
不久，王僧虔迁豫章内史。入朝任侍中，迁任御史中丞，领骁骑将军。世家大族向来大多不任中央官长，王氏的分枝居住在乌衣巷一带的，官位也都有所减降，僧虔做此官后，说：“这本是乌衣诸郎坐的地方，如今我也可以试试了。”后来又去做侍中，领屯骑校尉。泰始年间(465～471)，出任辅国将军、吴兴太守，待遇等级相当于二千石。王献之擅长书法，曾在吴兴郡任职，后来王僧虔擅长书法，也来吴兴任职，这事成为美谈。
后来王僧虔又移任会稽太守，待遇还是两千石，将军之职也仍旧。中书舍人阮佃夫家在会稽，请假回来家中。王僧虔的宾客们考虑到佃夫在朝廷正当大红大紫的时候，劝僧虔应该加礼接待他。王僧虔说：“我的为人有自己一贯操守，岂能曲意奉承此辈人物？如果他要对我表示不满，我便拂衣而去就是了。”后来阮佃夫果然在宋明帝跟前说了王僧虔的坏话，让御史中丞孙..奏劾说：“王僧虔以前在吴兴任上，就有过许多错误行为，现经调查在他到会稽上任后，凡用功曹五官主簿以至二礼吏署三传及收留的弟子，总共有四百四十八人。又允许民人何系先等一百一十家为旧门。应责承当地州里核实予以削减。”王僧虔因此而被免去官职。
不久，王僧虔以白衣的资格兼任侍中，出监吴郡太守，又迁任使持节、都督湘州诸军事、建武将军、行湘州事，继而转任辅国将军、湘州刺史。在他所任职的地方，人们都称道他的宽惠。巴峡一带的流民很多跑到湘州境内，王僧虔便上表请求朝廷把益陽、罗、湘西三县沿江一带的人民划分出来，成立湘陰县，获得批准。
元徽年间(473～477)，王僧虔升任吏部尚书。高平檀皀罢了沅南县令之职，僧虔让他做征北板行参军。他向僧虔请求增加俸禄没获允许，便给僧虔写信说：“五常之始，文武是首先因素，文可以经天纬地，武可以拨乱定国。我们家族虽然在文上头已经不行了，但武上头正是发达时期。我们家族的姑叔中，有三人和皇室有婚姻关系，我的祖辈和兄弟行中，也是二世为国献身，然而竟致于子侄饿死于乡间野地。去冬今春，连连接到两次指示，我既然朝中无人帮我说话，便只能屡次遭受跌降。四五个月来，我上书了十二次，上访了六七回，不仅不蒙照顾，反而更加困顿。既然所有的事物都有个公平原则，那么就不应只叫一个人受苦；我忍饥挨饿已经很久了，饥虎饿麟，如果不发威发急，谁会给它们食物呢？可是我去年请求做豫章丞，被马超争去了；今年被安排到南昌县，又让史偃夺去了。这两个人只不过靠着其上人的勋荫被提拔而已，有什么长处能胜过我？如果是由于贫富的差别而剥夺了我，那我自然是不如他们。然而我现在虽然孤微，但祖上以来也是累世国士，婚姻官位，也不比谁差多少。尚书同堂姊是江夏王妃，檀皀的同堂姑为南谯王妃；尚书的夫人是江夏王女儿，檀皀的祖姑乃是长沙景王之嫔；尚书的伯父曾任职江州，檀皀的祖父也曾任职江州；尚书的从兄初登官为后军参军，檀皀的父亲一起家就做中军参军。我和尚书，虽然人地悬远，但说到家族婚宦，则没什么区别。如今虽然我和你一个困顿一个通达，但我们还属于同一性质的人物，尚书你何必让我过不去呢？泰始初年，天下叛逆蜂起，我们一门二代，都是舍生忘死保卫主上的，这样的殊勋异绩，不能破格提拔也就罢了，为什么连正常的晋升渠道也被压抑了呢？”王僧虔回信说：“征北板行参军这职位近年来还是个好缺儿，殷主簿就是由此府进入高位的，后来何仪曹代替殷主簿，也没听说他叫苦。您长期委屈，想一下子越级提拔，也是不容易的。您家祖、兄在泰始初勤苦了十年，尚没得到当时的封赏，而现在要求兑现，也是很难如愿的。我和您素无怨憾，为什么要南齐书和您过不去呢？相反，我还是想帮助您的呢。”檀皀又写信来说：“当年荀公达是汉代的功臣，而晋武帝还为他玄孙封爵。夏侯..是魏代的勋佐，晋初也就提拔了他的孙子，给予封赏。羊叔子由于在晋泰始年间献计伐吴，到了咸宁末年，也被褒宠，封赏了他的兄子。卞望之在咸和初年为国捐躯，至兴宁末年，还被提高礼节待遇等级，子孙被加官。蜀郡主簿田混，黄初末年为故君之难而死，咸康年间才提拔他的子孙。这些似乎都不是因为世代久远而被弃置，也不是因为年头疏隔而遗忘。檀皀我什么样的灾病都碰上了，真是造化罕比，多次有亲属丧命无力下葬，一家近百口度日维艰，存亡难保，我原不过只希求一点点俸禄，无意于高官显荣。自古以来就有沐食侯，近代也有王官。而府佐并非沐食之职，参军也不合王官之称。我自谓不是个笨蛋，因而羞于被挂起来不被实用。殷、何二人，一个和府主关系特别好，一个是有朝廷意旨，怎么可以和一般常人相提并论。假如让我就任此职，尚书您能转任我为郎官么？如果我每天能得五升禄米，我也就可以心安理得干下去了。”王僧虔于是任用檀皀为安城郡丞。檀皀是宋安南将军檀韶的孙子。
王僧虔不久加官散骑常侍，转任右仆射。升明元年(477)，迁任尚书仆射，不久转任中书令，左仆射。升明二年，任尚书令。僧虔喜爱文史，精通音律，当时正是太祖(萧道成)辅政，王僧虔看到朝廷礼乐多与正统典范不合，民间又竞造新声杂曲，便上表说：“悬钟等乐器，应该发挥雅正的功能，而凯容之礼制，应当依照八佾的仪式。如今皇家乐舞，音乐和服饰都不正确。另外歌与钟都一样随便，只求和女乐和谐，其实是注重歌唱，这样钟便失去了雅乐乐器的意义了。大明年间，便开始用悬钟来配合《革卑》、《拂》，虽然节奏相合，但其功能已经和《雅》乐意义相背，将来的知音者，恐怕要有圣世之讥了。如果认为钟和舞已配合和谐了，虽然和一向的规矩不同，但可以另立歌钟，不依旧例。那么四县所演奏的乐舞，也应谨依《雅》的规范，这样即义沿理，大体还说得通。又，现在的《清商》，实在是从魏的铜爵时开始的，三祖的风流，遗者盈耳，后来经京、洛的互相争高，到了东晋就更加被重视。然而我以为金石干羽之类乐舞，是不应用于私室的，而桑、濮、郑、卫之音，一向都是不能进入官面的，而就《清商》之曲说来，如今再也没有中庸和雅的意味超过它的了。然而随着人情的改变，人们的音乐欣赏也发生了变化，渐渐又开始衰落，十多年来，差不多失去一半了。近来人人都在竞制新声，崇尚谣俗，只追求音节急促新奇，不顾及传统的音乐原则，这样流荡没有限制，不知何日是个尽头。它们排斥雅正的乐曲，崇尚繁富和婬靡。士人有士人的等级规矩，无故是不能撤去音乐的；礼有礼的秩序，年长者和年幼者是不能同听一个乐曲的。所以这种噪杂粗鄙的作品在民间日益盛行，那么正统的典雅音乐就会从官员和文化人那里消失。应当指示有关部门，勤奋工作，搜集整理遗失的雅正音乐，不断地公布出来，如有遗漏，都要修补完整。对那些整理乐曲完全的人，应给予优厚的俸禄，对那些乐艺精妙的人，应给予较好的地位。用利益刺激，人们就愿意下功夫。这样或许能够返本还原，继承往古。”这个建议被采纳了。
建元元年(479)，王僧虔转任侍中，抚军将军，丹陽尹。建元二年，晋升左卫将军，他坚决辞让不接受。改任左光禄大夫，侍中、尹等职仍旧。郡县的监狱中一直沿用的办法中有一种是用中药的汤剂杀死囚犯，王僧虔上疏皇上说：“药汤本是用来救病的，现在有人用它来实施暴行，甚至有人用它来泄私忿。如果犯人罪当重刑，则国家自有正当的刑法；如果说为了治病用医也应事先启奏上头。岂有死生大事，由下面偷着处理的道理？我以为给囚犯治病，必须先打报告向郡里请示，找有关负责人和医生共同会诊确认；偏远的县份，则由家人来省视后，再作处理。这样可以使死者不恨，生者无怨。”皇上采纳了这个建议。
王僧虔一直留心雅乐，升明年间他所奏请的办法被采用后，虽然稍有改变，但还有很多遗失。当时皇上开始想和邻国互通使节，王僧虔给其兄长之子王俭写信说：“古语讲‘中国失礼，问之四夷’。我想音乐也应如此。苻坚失败后，东晋开始备置金石之乐，因此可知不能一笔抹杀嘛。北国也许有遗存的音乐，即使不能立即拿来补中原华夏音乐的缺失，只要能知道其存亡情况，也是合乎上述道理的。但《鼓吹》过去有二十一曲，如今所能演奏的仅十一首而已，我以为北去的使节可能会搜集到些散佚的音乐，所以现在应从音乐机关里找一个大体能分别异同的人，充当北去使节才是。虽然延州难追，但他能得知他所知道的，也应有所不同。如果你认为我这话有道理，不知能否把此意转呈皇上？你可以考虑一下。”此事后来没能成。
太祖也长于书法，直到做皇帝以后，仍然酷爱不已。有一次和王僧虔比赛后对他说：“谁是第一？”王僧虔说：“臣下我为第一，陛下您南齐书也为第一。”皇上笑道：“你真算是善于为自己谋划了。”于是拿出十一帙古人书迹给王僧虔看，并让王僧虔开列擅长书法的人名。僧虔又从民间获得了十一帙中没有的十二卷奏上，他们是：吴大皇帝、景帝、归命侯所书，桓玄所书，以及王导丞相、领军王洽、中书令王珉、张芝、索靖、卫伯儒、张翼。又呈上羊欣所撰写的《能书人名》一卷。
这年冬天，王僧虔迁任持节、都督湘州诸军事、征南将军、湘州刺史，侍中仍旧。僧虔为官清简，无所欲求，也不经营财产，老百姓很安宁。世祖(萧赜)做皇帝后，王僧虔由于患风疾打算上表请求解职，正赶上皇上任他为侍中、左光禄大夫、开府仪同三司。有一回，王僧虔和少年时代的朋友随从及宗族人相聚会，有客人相面说：“僧虔爵位最高，官可以做到三公，其他人都赶不上呢。”后来果然被授予三公，僧虔对兄子王俭说：“你在朝中受到重任，不久将会享受三公一级的待遇，我如果再接受这个职位，一门中便有二个高级大臣，实在可怕呀。”于是坚决辞让不接受，皇上特别照顾允许了他的请求。改任他为侍中、特进、左光禄大夫。宾客中有人问他坚决辞让的动机，王僧虔说：“君子担心的是没有德行，而不是担心没有宠幸。我衣食满足，荣位已过，只惭愧平庸浅薄没什么好报答国家的，岂能再接受更高的爵位，在官职上遭人指骂呢？”兄子王俭作为朝廷宰臣，建造长梁斋，规模稍有过分，王僧虔看了就不高兴，怎么也不进他的门，王俭便立即将此斋拆除了。
永明三年(485)，王僧虔去世。僧虔对星象也很精通，那天夜里他坐在那儿看到豫章上空的星域显示该发生事故，当时他的儿子王慈正做豫章内史，僧虔便担心他会在公事方面有麻烦。不多时，僧虔便去世了，王慈便放下郡里的工作回来奔丧。王僧虔死时六十岁。朝廷追赠他为司空，侍中仍旧。谥号为“简穆”。