张稷字公乔，幼年时就有孝顺的品德。他的生母刘氏不受宠爱，得了疾病。当时张稷十一岁，侍养母亲衣不解带，每当病重时，则一连几夜不睡。母亲去世以后，他哀伤过人，拄着拐杖才能起来。见了年辈相同的幼童，就哽咽流泪，州里的人们称他是淳孝。
长兄张玮善于弹筝，张稷因为母亲刘氏曾经先会这一艺术，所以听见张玮弹奏《清调》，便觉得悲伤欲绝，于是便终身不再听它。
他性格随便，开朗聪悟而有才略，起家为官先任著作佐郎，没有上任。父亲张永和嫡母丘氏相继去世，六年中建房住在墓旁。齐朝永明年间(483～493)，担任豫章王萧嶷的主簿，和彭城的刘绘都受到礼待，不曾被呼叫名字，常常被称呼为刘四、张五。因为家贫，请求做剡县令，平时不问政务，常常进行小山漫游。正遇上山贼唐宇之作乱，张稷率领部下保全了县境。
生母刘氏先是假葬在琅笽黄山，建武年间(494～498)改行葬礼，别人资助的物品堆积很多。当时虽然没有拒绝，事后又随着归还了他们。从幼年到成年，几十年中，常年设着刘氏的神座。外出相告，回来面见，如同侍奉活人。
历任给事中黄门侍郎、新兴、永宁二郡太守。郡名犯了私人的忌讳，所以改永宁为长宁。永元末年，担任侍中，守卫宫城。梁武帝的军队开到，兼卫尉江淹出逃，张稷兼卫尉卿，为王莹的副官，都督城内诸军事。当时东昏侯荒婬暴虐，北徐州刺史王国珍来找张稷进行谋划，于是便派直阁张齐行刺于含德殿。张稷于是召右仆射王亮等人列坐在殿前西面的大钟下面，商议派国子博士范云、中书舍人裴长穆等人，出使前往石头城见武帝，以张稷为侍中、左卫将军，改任大司马左司马。
梁朝建立，他做散骑常侍、中书令。皇上即位后，封为江安县子，位居领军将军。武帝曾在乐寿殿内设宴，张稷在酒醉后话多，怨忿流露在外。武帝当时也喝得很多，对他说：“你的哥哥杀死郡守，弟弟杀死君王，袖中提着皇帝的头颅，衣服染有天子的鲜血，像卿家兄弟，叫什么名号？”张稷说：“臣本是无有名号，至于陛下，则不能说臣无有功勋。东昏暴虐，您的义师也来讨伐，难道只有臣下而已？”武帝捋着胡须说：“张公实在可畏！”中丞陆杲弹劾张稷说：“领军张稷，门风无有忠贞，做官必求显达，杀君害主，成为常事。”武帝把奏表留在宫中，终不过问。
后来逐步改任尚书左仆射。武帝将要到张稷住宅中去，因为正在盛暑，留在了仆射省。旧时迎待皇上的用物，都交给宫官作为饭资。武帝因为张稷清贫，手写诏令不予接受。宋朝时孝武帝曾经路过而到了张永家，到张稷已经三代，都有天子降临，论者很以为荣耀。
张稷虽然官居朝廷高位，却常常因成为话柄而惭愧，于是便把他的儿子取名伊字怀尹，霍字希光，..字农人。同字不见，见字不同，以标明他的志向。他既怕且恨，便请求出京任职，朝廷准许了。调出担任青、冀二州刺史，很不得志，常常关上阁门读佛经。防备松弛，官吏们常受到侵扰。本州人徐道角等人夜里袭击州城，于是将他杀害。有关方面奏请削去了他的封爵和封地。
张稷性情明捷刚烈，善于与人结交，历来做官都没有积蓄，薪水都送给了亲友，家中没有多余的钱财。做吴兴太守时，刚到任就去访问遗老，任用他们的子孙担任高级职务，政治以宽恕而被称道。
起初离开郡里而接受做仆射的征召，路经吴地，乡里等候张稷的人布满水中和陆地。张稷装束简单地直接回到都城，人们都不认识他，他就是这样地朴素而率直。
张稷的长女张楚媛嫁给了会稽孔氏，没生子女，返归本家。在遇到张稷被害的时候，女儿见刀砍来，以身体遮挡，先于父亲而死。