合军以后，李广等人的军队因为没有向导，几次迷了路，所以，落在了大将军的后面。大将军与单于交战，兵力不够没有形成包围，让单于跑掉了，汉军没有能追到他，也就撤退了。李广所部与大部队会合以后，卫青派人慰劳李广，顺便询问他迷路的情况，李广没有回答。卫青要上报天子此次战役的详情，便命令军中的长史迅速审问李广军中的幕府人员。对卫青积怨已深的李广，已经快被建功立业的心愿折磨得崩溃了，心想还没和你理论为什么不给我做前锋，为什么要我去曲折迂回的线路策应呢，现在还要再折磨我的下属。李广对部下们说：“你们没有罪，是我自己糊涂而让军队迷了路。我亲自去受审对质。”到了大将军的幕府，李广对手下人慨叹道：“我一生里与匈奴人大了大小七十余仗。如今，我才有机会跟随大将军攻打单于。可是，大将军却命令我军绕远去迂回包抄单于，而且我军又迷了路，这难道不是天意吗？我已经六十多岁了，毕竟不能再与那些舞弄笔墨的书吏打交道，任其侮辱。”于是，李广拔刀自尽。得知李将军的死讯，他的部下无不为之落泪；而老百姓们，不论认识他的还是不认识他的，也不论男女老少，也都为之流泪。
将军之子
李广有三个儿子，分别叫李当户、李椒、李敢，他们都做过郎官。有一次，天子和他的宠臣韩嫣嬉戏，韩嫣的行为有些放肆，对天子也有些放肆，李当户便要教训韩嫣，韩嫣立即跑开了。因此，天子心中很看重李当户，准备委之以重任。但是当户死的早，天子便任命他的弟弟李椒为代郡太守，可惜也没有活很长时间。李广的这两个儿子都死在他的前面，白发人送黑发人，李广也着实是个伤心的父亲了。
李广自尽的时候，李敢正跟随着骠骑将军霍去病。他以校尉的身份攻打匈奴的左贤王，作战英勇，夺得了左贤王的军旗和战鼓，斩杀了很多敌人，因此被封为关内侯，受到两百户食邑的奖赏，并接替其父出任郎中令。不久，李敢怨恨大将军卫青使他的父亲含恨而死，就打伤了大将军，大将军把这事隐瞒了起来。此后，李敢跟随天子去雍县的甘泉宫打猎。骠骑将军霍去病是大将军的外甥，他得知李敢打伤了大将军的消息，一怒之下射死了李敢。霍去病当时正被天子宠幸，所以，天子封锁了消息，对外隐瞒了真相，故意说李敢是被鹿撞死的。李敢有个女儿是太子的侍妾，很受到太子的宠爱；李敢的儿子李禹也受到太子的信任，但他因为贪图财物而最终败了家，李氏家族的声望和地位一天一天地衰败下去了。
将门虎孙
李陵是李当户的遗腹子，李广的嫡孙。李陵成年以后，被选任为建章营的监督官，监领该营的骑兵。他擅长射箭，爱护士兵。天子认为李家世代为将，就让李陵率领八百名骑兵。李陵曾经深入匈奴境内两千余里，穿过居延海（今甘肃省九泉县境内），观察沿途的地形，或许是爷爷的霉运转到了孙子身上，没有遇到匈奴的部队，也就没有建功立业，于是就撤了回来。后来，天子任命他为骑都尉，率领五千名来自丹陽（今安徽省皖南地区的大部分和江苏省江南偏西一小部分和浙江省西北一小部分）的楚兵，在酒泉、张掖（两地在今天甘肃省西北中部）地区操练，同时，驻守边关，防御匈奴。
天汉二年的秋天，贰师将军李广利率领骑兵三万人在祁连山一带攻打匈奴的右贤王。天子命令李陵率领他的部下，从居延海出塞向北行军一千余里，企图以此分散匈奴的兵力，减轻贰师将军的压力。到了预定的期限以后，李陵准备撤兵，不料回师的途中遇到了单于的主力，被单于的八万大军包围。李陵的部队只有五千人，他们边战边退。经过了八天的奋战，汉军的箭射光了，士兵死亡超过了半数，但是他们杀伤的匈奴人也有一万多。汉军撤退到了距离居延海只有一百多里的地方，匈奴人拦堵住了狭窄的山谷，截断了通路。汉军缺少粮食，而救兵又迟迟不到，匈奴人加紧进攻，而且劝诱李陵投降。李陵说：“在如今的这种情况下，我没有脸面回朝向天子复命了。”于是，他投降了匈奴，逃回到汉朝的只有四百余人。