谢灵运，陈郡陽夏人。祖父谢玄，是晋代的车骑将军。父亲谢王奂，从小便不聪明，当过秘书郎，很早就死了。谢灵运很小的时候就聪慧过人，谢玄十分看重他，跟亲近的人说：“我生了谢王奂，谢王奂怎么能生灵运呢！”
谢灵运从小便爱读书，博览经史，他写的文章非常漂亮，江南几乎没人赶得上，堂叔谢混尤其喜欢他。谢灵运继承祖父的爵位，被封为康乐公，享受两千户的税收待遇。援引先例，谢灵运被朝廷授予员外散骑侍郎的职务，谢灵运没有到任，但他却接受了琅王牙王的大司马行参军的官职。谢灵运性情奢侈喜爱豪华，他车子的装璜鲜艳而美丽，他的衣着玩的用的东西，无不改变以往的旧样式，世人都学他的样子跟着变，人们都叫他谢康乐。抚军将军刘毅镇守姑孰，用他当记室参军。刘毅镇守江陵，又让他当卫军从事中郎。刘毅被杀后，高祖刘裕用他当太尉参军。回到京城后做秘书郎，又因事而被罢免。
武帝刘裕因事征讨后秦姚氏，骠骑将军刘道怜留守都城，谢灵运被用为谘议参军。再转调当中书侍郎，又当世子中军谘议、黄门侍郎。谢灵运奉命出使彭城，慰劳世祖刘骏，写了《撰征赋》。
回来仍然被任命为宋国黄门侍郎，再升任相国从事中郎，世子左卫帅，因为擅自处死门生，被免除官职。宋武帝刘裕做皇帝，谢灵运的公爵被降为侯爵，享受五百户的税收待遇，又出任散骑常侍，转任太子左卫帅。谢灵运天性偏激，常常有触犯礼法律令的行为。朝廷只把他看成有些文才的人，而不是有学识才干的政治家。而他自己却认为有水平参与国家大政，现在既然不被赏识，经常愤愤不平。庐陵王刘义真幼时便喜好文学，和谢灵运有很好的关系。少帝当皇帝时，权力掌握在大臣的手上，谢灵运在中间挑拨离间，诽谤当权的人。司徒徐羡之等人很怕他，让他出外当永嘉太守。永嘉郡有很多名山秀水，他一贯喜欢游山玩水，因为他是被排挤出来的，于是便任情地遨游，足迹几乎踏遍了每一个县，每次出游，动不动便上十天，老百姓的诉讼，他一概不管。谢灵运无论到哪个地方，都吟诗作赋，表达他的感受和心意。在郡上任职只一年，便称有病离职。他的堂弟谢晦、谢曜、谢弘微等都写信劝阻他。谢灵运根本不听。
谢灵运祖父和父亲都安葬在伯宁县，那里有他家的老屋和别墅。于是他自动改成会稽郡籍贯，在那里修建房屋和庄园，他的居处前瞰环环的秀水，后背巍巍的大山，极尽幽深静谧的风致。他和隐士王弘之、孔淳之等逍遥放纵，以此为乐，常有在这里安度余年的打算。他每一首诗被传到京城，无论贵贱竞相抄写，一夜之间，官吏百姓便知晓熟悉了。远近四方的人非常仰慕他，他的名声震动京城。
文帝当皇帝，徐羡之等被杀，谢灵运被调为秘书监，两次被召见，谢灵运都没理睬。文帝派光禄大夫范泰写信给谢灵运称赏他，他才应召就任。文帝叫他整理秘书省的图书，补增遗漏的地方，又因为有晋一代没有一本完整的历史书，所以叫谢灵运写一本《晋书》，他写出粗略提纲，但这书终究没有写成。不久又升任侍中，每天早晚被召见，很得文帝的宠爱。谢灵运的文章书法都独步当时，他每次作文，都亲笔抄录，文帝称他的文章和墨迹为二宝。既然自己是名人，谢灵运觉得自己应该参与朝政，开始被召见时，便这样自许，但召见之后，文帝只把他当成一个文人而已。他每次和文帝在一起喝酒时，文帝不过让他谈论诗文而已。王昙首、王华、殷景仁等人，名声爵位一直在他之下，却同时被宠待，谢灵运心中不满，往往推说自己有病而不上朝，只管修筑池塘、种植花树、移栽修竹、摆弄香草而已，他驱使为国家服劳役的人，简直无休无止。出城游玩，有时一天走一百六七十里，往往上十天不回来，既不上书请示，也不请假。文帝不想伤害大臣，暗示他主动辞官。谢灵运于是上表陈述自己有病，文帝让他休假回到东方。他临行之前，又上了一道奏疏劝文帝北伐。文章说：
从中原沦陷以来，一百多年，百姓沦落敌人之手，已被异族统治，先帝聪明神圣，怜悯中原人民苦难，希望荡平河北，统一中国，让中原拨乱反正，遗民重归中华。但时运有变，大业未成，理想还未实现，先帝便抱恨而逝。况且先帝下葬不久，敌人便来侵略，有志忠义之人，谁不想激奋而起，为国报仇？但少帝时的执政大臣，才能平庸，只在朝廷制造混乱，哪里顾得上先帝的嘱托。于是边城陷入敌手，无人愿意赴援，忠贞为国之士被敌俘虏，黄河流域的大好河山，终于落入敌手，这些沦陷的疆土，都是先帝时开辟的，沦陷敌人之后，国家的这个耻辱应该被洗刷，现在应该准备做这个工作。况且敌占区的人民，穷困悲苦，敌人赋敛无度，没有止境，人民如果不按时交税，便被屠杀。要是他一身不能保命，则全家被株连，满门遭殃，乡亲也会不幸。这些确实是叫善良的人们痛心不已愤慨之极的。
人们都说西边敌人舍本逐末，出兵陇外，东边的敌人北进，我军可以趁机掩袭，待西边的敌人返回后，我军得以据有关中，包围咸陽，敌人回来的路便已截断，纵然想派兵支援，只能远袭大城附近的我军，以便内外相应。但是此时我军有深山险关作为护卫，根本已固，即使敌人想增援，只不过丢下他的老巢，但并不能拯救他们自己。外面的敌人疲惫不堪，内面则空虚不守，关键的时机，没有比这时更恰当的，炫耀兵力显示武力，正在当时，如果和敌人相持不已，也许会生出意外事变，再遇到新的敌人，则和开始时机不同，如果不抓住这个好机会，就很难建立大功，即使兵力众多，粮食充足，但是得胜的可能性不一定有了。纵观古代历史，都是以吞并弱小为契机进行统一的，古今的所有英雄没有例外的，难道那时不是天时人事机会难得，兴亡可以判明，正在当时。所以古人说：“既看见敌人有天灾降临，又看到他的矛盾重重，才可以打他的主意。”当年魏国的强大，平定荆州和冀州，不过是利用了刘表和袁绍的衰弱机会；晋国的强盛，消灭吴国和蜀国，也是利用诸葛亮陆逊们不在的时机，这都是以前固有的例子，在史书上写得清清楚楚的。从后秦姚氏被平定以后，天下人都认为胡人会消灭。我们应该直指滑台，席卷敌人各个城市，让敌人胆破心裂，然后指日平定北方。但是长安失守，潼关沦陷，敌人得以保命，延长他们生存的时间，从那时到现在，已十有二年，达到一纪的时期，所以我有前面的这些看法。况且五胡互相替代很快，他们的最后时期，正在明年。他们相互攻击，我们应该加以利用，卞庄子刺虎的态势，就好比今天的形势。北方的人民仰望皇上的恩德，好像饥渴的人想饮水吃饭一样，南望我朝，已很长很长时间了。人民重见天日的希望，确实在陛下的身上，这个机会不利用，以后便没有了。尽避今日国家的储蓄，确实不多，然而办大事需要国家富强，不寻找机会，那是很容易做的，但是抓住机会更难得。现在的武器战具多了，兵力扩充了，远远超过从前。至于出兵获胜的成果，其中可以得到冀州的一百多万户口，以及充足的田地租税。冀州的富饶，在《禹贡》里便说得很清楚，先贤们创立的基业，巍巍尚在。那里水源充足，平原上满布桑黍麦粟，那里富足的物力人力，再清楚不过了。仔细为国家打算，这个收获远远大于出兵北方的费用！
有人因为关中的失落，以为河北纵然得到也不能保卫。但是东方和西方的形势，从里到外都不相同。关西是多族杂居的地方，民族种类繁多，当年西汉时，国家便屯兵霸上，在甘泉宫建峰火台，况且现在远方戍守的军队，还会遇到新旧交替的问题呢？河北全部是汉族百姓，没有异族混杂，层层山岭可以作为屏障，三道关卡作为大门，如果我军骑兵北进，那么沙漠上的异族便会遁逃，如果我们严兵守卫，则冀州像大山一样坚固。当年陇西被匈奴袭击，晁错提出防守御敌的方略，匈奴侵扰汉朝，贾谊慷慨陈词。这都是遥远的先例了。晋武帝不过是中等才能的国君，遇到孙皓虐待人民的好时机，也算是老天爷降福于他，更加因羊祜杜预等人出谋献计，荀岂页贾充等人的谋被抛弃而得以建立大功，因而统一天下的。况且皇上聪明圣智，天下百姓感恩戴德，文治武功赫然在目，威略德望远远流播，加上宰相们贤明，亲王们高才，藩镇勤劳王室，满朝众多虎将，更主要是远方的人民敬慕皇上的恩德，有哪个敌人不被消灭，更何况是凶恶的鲜卑魏寇，现在他们正苟延残喘的时候呢？臣下我希望皇上仔细考虑此事，快快定下决策。我不过是一个卑贱愚昧，像老鼠一样逃窜于岩穴之中的人，只不过希望看见太平时世、泰山封禅的盛况重现而已。虽然我没有司马相如那样的生花妙笔，但可以免除司马谈活着不能见封禅的遗憾，如果皇上采纳我的建议，即使现在让我马上辞官回家，我也半点怨言也没有。好久以来我便向皇上陈述这个看法，但害怕触犯皇上，承蒙皇上恩赐让我休假，暂时得以离开朝廷。我的消渴病已得十年，常常担心突然去世，一直抱有这个愿望，这里才冒死启明皇上。
谢灵运因病回到东方，但游玩喝酒集会赋诗照旧，日以继夜，他再次被御史中丞傅隆所弹劾，因此被免除所有官职，这年正是元嘉五年(428)。
谢灵运回到东方，和同族兄弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊..之，因为相互欣赏对方的文章而结好。他们同游山水，当时的人们称他们为“四友”。谢惠连小时候便聪明有才气，但性格轻浮，他父亲谢方明一贯轻视他，谢灵运离开永嘉回到始宁，当时谢方明正当会稽太守，谢灵运从始宁到会稽拜访谢方明，顺便看望谢惠连，二人相见时都非常欣赏对方。当时何长瑜正教谢惠连读书，也在这里，谢灵运认为何长瑜文才举世无双，他对谢方明说：“谢惠连这么聪明高才，而尊敬的叔叔却把他当成小孩子看。何长瑜是当今的王粲，却把他看成下等客人，尊敬的叔叔既然不能敬待客人，应该让何长瑜跟我走。”于是谢灵运和何长瑜同坐车马而去。荀雍字道雍，官至员外散骑郎。羊..之字曜..，官至临川内史，很得司空竟陵王刘诞赏识，刘诞造反失败后被杀。何长瑜文章的水平仅次于谢惠连，荀雍、羊..之则不及他们。临川王刘义庆招集文人，何长瑜因此从王国侍郎升到平西记室参军。何长瑜曾在江陵写信给本家朋友何勖。用韵诗谈论刘义庆州府的属下官吏之一陆展说：“陆展染鬓发，欲以婿侧室。青青(黑发)不解久，星星(白发)行复出。”这样写的有五六首。于是轻薄少年们把这扩展开来。凡是当时的士大夫都被描写，而且要加上戏谑的丑话，因此这种诗文大为流行。刘义庆看了大怒，叫文帝任命何长瑜当广州下属的增城县令。到刘义庆死时，朝廷人士到他家吊唁，何勖对袁淑说：“何长瑜现在可以调回来。”袁淑说：“国家刚刚死了宗室贤人，你不应该想到流放的人。”庐陵王刘邵镇守寻陽，让何长瑜当南中郎行参军，掌管秘书工作。何长瑜经过板桥时，遇到大风卷入水中淹死了。
谢灵运凭借祖父和父亲的资本，家产丰足仆从众多，先人的门生故吏加上有几百。他开山挖湖，没完没了；翻山越岭，总是到那些最幽深最险峻的地方去，哪怕千岩万险，没有一个地方不游到的。他每次登山都穿上木鞋，上山时便去掉前面的鞋齿，下山时则去掉后面的鞋齿。一次曾从始宁南面山峰砍树开路，一直通到临海郡，跟从他的有几百人。临海太守王..大为恐惧，以为来了造反的山民，不久知道是谢灵运才放心。谢灵运邀请王..一同游玩，王..没答应。谢灵运赠给王..的诗说：“邦君难地险，旅客易山行。”在会稽也有很多跟从，他总是惊动郡县长官。会稽太守孟凯信仰佛教，诚恳认真，谢灵运很瞧不起他，且对他说：“成仙得道应该是有灵气的文人，你升天一定在我谢灵运之前，成佛一定在我谢灵运之后。”孟凯非常憎恨谢灵运的这些话。
会稽东城有个回踵湖，谢灵运请求决干湖水做成稻田。文帝叫本地长官执行这个命令，湖泊离城很近，里面出产很多水产品，孟凯不同意这样作。谢灵运既然不能得到回踵湖，又要始宁县山丕山皇湖做水田，孟凯又不同意。谢灵运认为孟凯不想做有利人民的事，而只考虑掘开湖泊会损害动物，言论中谢灵运伤害了孟凯，于是和孟凯结下了深深的仇恨。孟凯利用谢灵运放荡不羁、侵扰百姓的事，上了一道奏疏说谢灵运想谋反，他本人则动用本郡军人防守自卫。谢灵运听说此事，马上骑马到京城上书说：臣下我自从带病回家，到今天已经三年，居住的地方不在城市，和世人相隔很远，呆在僻偏的穷山岩洞之间，几乎中断了和外界的联系。我安静地保养性命，想过完剩下的年岁，突然于上月二十八日得知会稽太守孟凯二十七日的话：近来舆论纷纷，我这里倒没什么，只是老百姓不安心，现在我作一些防备。看了这道疏我非常惊异，不知是怎样造成的，便急忙回到京城投奔皇上，当我经过山陰城时，孟凯防卫得非常严密，整排整排的骑兵和步兵，手握长槍大刀，截断大街小巷，东西侦察，纷纷嚷嚷。不知小臣我因什么而犯了大罪使他这样防范，我整天只有忧虑和恐惧。臣下当年侥幸做过皇上的侍臣，曾蒙受皇上的天恩，如果我罪过明显或者文章中有叛逆证据的话，我愿意被有关部门判处死刑，以便规正国家的法典。使普天之下，也不许有我立脚的地方。现在只以谣言作为我的罪证，这是多么残酷啊！自古以来，圣贤们也免不了被诽谤，但是招致诽谤，还是有原因的。或者不怕死亡重视义气，或者结党聚众，或者称雄乡里，或者当剑客侠士，纵横无忌。还从未听说循规蹈矩的人，想去造反谋逆的，隐居的人，打算谋害皇上的。现有人捕风捉影，凭空造谣，从古以来的陷害，没有比这更残酷的。我并不是爱惜自己的生命，只是受不了其中的冤枉。我扪心自问并无什么对不起皇上的事，但是抱着一肚子的冤屈无处申诉。所以带病投奔皇上，让您裁判。我希望皇上鉴定是非曲直，那么即使我死了，也如同活着一样。我整天担心害怕，以致老病发作，神情恍恍惚惚，不知怎样陈说。”
文帝知道他被冤枉了，所以没有判他有罪，只是不想让他回到东方，而让他做临川内史，且增加俸禄到两千石。谢灵运赴任后仍然如故，和在永嘉太守任上时没有两样，所以再次被有关人员弹劾。司徒派临川王的从事郑望生逮捕谢灵运，谢灵运反而抓住郑望生，起兵叛逃，于是才坚决反叛。他写诗说：“韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子。”最后他仍被追上和逮捕，被送到廷尉那里定罪。廷尉上奏说谢灵运率领部众造反，应处以死刑，文帝仍然爱惜他的才能，只想免去他的官职而已。彭城王刘义康坚持说不应该饶恕他，于是文帝下了一道诏书说：“谢灵运罪过深重，确实应该判处死刑。但念他祖父谢玄有功江南，应该原谅他的子孙，可以免去谢灵运的死刑，充军广州。”
之后，秦郡府将宗齐受走到涂口，途径桃墟村，看见有六七个人在下面路上胡乱说话，怀疑不是好人。回来告诉郡县长官，长官派兵随同宗齐受掩袭讨捕，于是和那些人格斗，把他们全部捉住，投入监狱，其中一人姓赵名钦，山陰县人，说：“本村人薛道双先和谢灵运同过事，在去年九月初，薛道双通过本村人成国告诉我说：‘先前做临川内史，现在犯法冲军广州的谢某，给我们钱财，叫我们买弓箭刀槍盾牌等武器，让薛道双结交乡里的健儿勇士，在三江口劫夺谢某，如果得逞的话，大家功劳都一样。’于是集合众人篡取谢某，但没成功。大家回来时很饿，只好沿路打劫。”有关部门又上奏按法逮捕谢灵运，文帝下诏书命令在广州判他死刑，就地正法。谢灵运临死时写诗说：“龚胜无余生，李业有终尽。稽公理既迫，霍生命亦殒。凄凄凌霜叶，惘惘冲风菌。邂逅竟几何，修短非所悯。送心自觉前，斯痛久已忍。恨我君子志，不获岩上泯。”他诗中称述的龚胜、李业，好比前诗中说的子房、鲁连。当时正是元嘉十年(433)，享年四十九。他写的文章在社会上广泛流传。他的儿子谢凤死得很早。