徐孝嗣字始昌，是东海郯县人。其祖徐湛之，在宋朝官至司空；其父徐聿之，官著作郎，都被太初(刘劬)杀害。徐孝嗣当时还在母腹中，故幸免于难。孝嗣少年时便很能自立，风仪端庄清简。八岁时，袭爵为枝江县公，谒见宋孝帝，一上台阶就流泪，直到就坐都不止。皇帝甚加怜爱。将康乐公主许配给他。泰始二年(466)，西讨解除戒严后，皇上还宫，孝嗣上殿没穿韦未，受到治书御史蔡准的劾奏，罚金二两。拜官驸马都尉，授职著作郎，因母丧辞官。后为司空、太尉二府参军，安成王文学。徐孝嗣有姑嫁给东莞的刘舍，舍兄刘藏任尚书左丞，孝嗣前往拜见他。刘藏退下后对刘舍说：“徐郎可是要做令仆一级大官的人哪，三十来岁时就差不多做上了，你要好好和他相处。”
升明年间(477～479)，孝嗣迁任太祖(萧道成)骠骑从事中郎，带南彭城太守，随府转任太尉谘议参军，太守仍旧。齐王府设立建制后，孝嗣任世子庶子。建元初年，齐王国撤销。徐孝嗣出任晋陵太守，领长水校尉。没上任，又被任命为宁朔将军、闻喜公萧子良征虏长史，迁任尚书吏部郎，太子右卫率，转任长史。徐孝嗣礼仪中趋步走得很好，容止闲雅，可以和太宰褚渊比美。世祖(萧赜)对他深加优待。尚书令王俭对人说：“徐孝嗣将来一定是宰相。”不久转充御史中丞。世祖曾问王俭：“谁适合继承你的职位？”王俭说：“臣下我退休之时，大概只有徐孝嗣适合接替了。”后来孝嗣出任吴兴太守，王俭赠给孝嗣四言诗道：“方轨叔茂，追清彦辅。柔亦不茹，刚亦不吐。”当时人拿孝嗣和蔡子尼的行状相比。在郡里主持工作时，孝嗣很有能力。赶上王俭去世，皇上便调孝嗣任五兵尚书。
这一年，皇上下敕令仪曹令史陈淑、王景之、朱玄真、陈义民等编撰东晋以来的朝仪典章，并让他们向徐孝嗣请教。次年，孝嗣迁官太子詹事。随从世祖行幸方山。皇上说：“我曾在此山之南经营大业，又要在这儿建造离宫，其规模应当比灵丘还要宏大。”灵丘山湖，就是新林苑。孝嗣回答说：“绕黄山、圈牛首，那已是盛汉的事情喽。如今江南还不太平，老百姓也很疲惫，盼望陛下在这方面更加用心。”皇上终究也没在这里修建什么。竟陵王萧子良对徐孝嗣十分称许。萧子良喜好佛教，让徐孝嗣和庐江何胤负责斋讲和众僧的安排事宜。后转任吏部尚书。不久加右军将军，转领太子左卫率。中央许多工作都交给他处理。
世祖驾崩，遗诏中转任徐孝嗣为右仆射。隆昌元年(494)，迁任散骑常侍、前将军、丹陽尹。高宗(萧鸾)谋划废除郁林王时，曾把计划告诉了徐孝嗣，孝嗣奉旨但没有表态。高宗入殿时，徐孝嗣身着军装随后。郁林王死后，高宗正等待太后令到，徐孝嗣便从袖中取出太后令来奏上，高宗大喜。由于废立有功，徐孝嗣被封为枝江县侯，食邑一千户。朝廷配给他鼓吹一部，甲仗五十人入殿。不久转任左仆射，常侍仍旧。明帝做皇帝以后，加任他为侍中、中军大将军，由于南齐书定策勋高，晋封公爵，增封食邑二千户。配给班剑仪仗二十人，加侍卫兵百人。按照老规矩拜授三公要行临轩之礼，此时皇上特下诏和陈显达、王晏一同临轩拜授。
北虏将要来犯，皇上下诏命徐孝嗣假节驻兵新亭。当时王晏为尚书令，但他的威望不如孝嗣，王晏被诛杀后，孝嗣转任尚书令，领本州中正，其他官职爵位都仍旧。徐孝嗣爱好文学，赏识清胜。器量弘雅，从不以权势自居，因而能在建武时代保持平安。他能够恭己自保，朝廷对此都很称道。
当初，徐孝嗣在率府，在斋北壁下睡午觉，梦见有两个童子走来催促说：“移公床。”孝嗣惊起，便听到墙壁有声响，才走开数步墙壁就倒塌压在了床上。建武四年(497)，诏命徐孝嗣就本号开府仪同三司。孝嗣听说有诏，表情严峻地对身边人说：“我德不及古人，而位极人臣，这怎么担当得起！明君在上可以以理勉强我，但我一定要以死请求不要授我此职。如果不被批准，我就应当回到乡下当平民，或者在家里等待处罚。”于是坚决辞让不受。
这时连年有北虏来犯，军国虚乏。徐孝嗣上表请求建立屯田制度，他说：“国家的急务，是兵与食，一夫不耕，就会影响至切。所以周朝实行井田阡陌，军力强盛，汉代实行屯田广置，常胜不败。从此以后，大抵情况也是不言而喻，但完全照古人的做法，是否妥当还需要讨论；但当今情况紧急，应当有必要的措施。我寻思沿淮诸镇武装，全靠京师供给，费用既庞大，运输又困难。聚敛粮食，以备迎敌，常常苦于不足，这关系到利害根本，最为急切。我近来走访了当地故老和以前在那儿工作过的长官，得知淮南旧田，到处都是，但沟岭不修，都长满了荒草。而平原陆地尤其广大。如今边防既然很紧张，戍卒也增加了许多，既依赖于远途运输，又荒废了良田，战士大多面带饥色，令人感叹。我打算让刺史二千石级别的官员都亲自动手，领导士兵就地开垦。精心寻求灌溉之源，确定田地质量。州郡县戍主帅以下，都要轮番去抓农业。现在水田已过了季节，但正值菽麦的耕种时节，而菽、麦二种作物，在北方尤其适宜，对当地人的意义，不亚于粳稻。开创之利，关键在于及时。我的建议如果得到通过，请立即派人到徐、兖、司、豫，以及荆、雍一带，各就当境情况进行规划实施，不得遗漏。设立专门机构和人员，负责此项工作。田器耕牛等必需之物，由中央审核后统一配给。年末进行成绩考核，明确赏罚。此事如果成功，一定会大有好处。如果边境一带粮食充足了，那么江南自然就会丰富起来，此举带来的利益，不可估量。”此事被采纳，但当时皇上已经卧病，又兼战争没停，因而到底也没实行。
皇帝病重后，徐孝嗣便进入禁城居住，皇上临终时对徐孝嗣有重大遗托，并重申了让他开府仪同三司的命令。加任中书监，永元初年(499)，徐孝嗣辅政，自尚书下省出住爆城南宅，不得还家。皇帝越来越失德，徐孝嗣也不敢谏诤。等到江纏被诛，孝嗣也心怀忧恐，但从不流露。始安王萧遥光谋反，众情遑惑，看到孝嗣进来了，宫内才放心。但朝廷被群小把持，孝嗣也无法控制。朝廷给他进位司空，他坚决辞让。又请求解去丹陽尹之职，没被批准。
徐孝嗣是个通文理的人，从不显露自己的意见态度，名位虽大，但因此而没遭祸。虎贲中郎将许准很有胆力，领着军队隶属孝嗣，陈说机密和动向，劝孝嗣施行废立君主。孝嗣迟疑很久，认为一定不能动用武力，可以等少主出游时，关闭城门召集文武百官讨论废除之事，不过虽有此心，终究不能决断。群臣渐渐憎恨孝嗣，劝皇帝在召集文武百官讨论朝政时，借机诛杀孝嗣。冬天，皇上召徐孝嗣入华林省，派茹法珍赐药，徐孝嗣面色不改，还能饮酒，饮至斗余药力发作，才去世。皇上于是下诏说：“周德正在光大时，有‘三监’迷叛，汉朝正在昌盛时，有宰臣闹事，他们都身遭诛杀，族被斩绝。殷鉴不远，垂戒后人。徐孝嗣凭借家世资历，很早就享受特殊待遇，又逢着机会，遂登高位。但是没能表现出对皇上的忠诚，反而屡次明显谄黩主上，应当立即赐死，以正国法。”