四年以后，李广再次由卫尉被任命为将军，率军从雁门出塞攻击匈奴。匈奴倚仗着兵力的优势打败了李广的军队，活捉了李广。单于素来听说李广的才能，便命令部下务必把李广活着押送回来。当时，李广受了伤，匈奴人便在两匹马之间设置了一个大网兜，把李广放在里边。行进了十余里以后，李广假装死去。他斜视四周，看见旁边的一名匈奴少年骑着一匹好马。突然间，李广飞身一跃，跳上了那个少年的马，迅速地把少年推下马并夺了他的弓，策马向南狂奔。匈奴几百名骑兵在他的身后紧追不舍，李广一边策马奔跑一边操弓回身射杀追兵，结果真的侥幸逃了出来。此后，李广遇到了他的余部，便率领他们返回了塞内。回到京城以后，朝廷把李广交给相关的司法部门惩处。法官认为李广所部没有军功，而损失又过大，他本人还被敌人活捉，把天朝将军的脸面丢尽了，所以判处他死刑。后来，李广出钱赎了死罪，成为平民。
飞将军的性格
时光飞逝，转眼间李广已经在家里闲居了好几年。李广隐居在蓝田的南山里，而前颍陰侯灌婴的孙子，灌强一族也隐居在此，所以，他们常常在一起打猎。有一天晚上，李广带着一名随从外出，和别人在田间饮酒。回来路过霸陵的时候，霸陵尉喝醉了酒，没事找事，竟敢喝令李广，并且不让他通过关卡。李广的随从说：“这是前任的李将军。”而霸陵尉却说：“现任的将军尚且不能在夜间通过关卡，更何况是前任的将军！”无奈之下，李广只能在亭鄣下边将就一晚。不久以后，匈奴入侵汉朝边郡，杀死了辽西太守、打败了韩安国将军，韩将军被调到了右北平郡。于是，天子就重新起用李广，并任命他为右北平太守。李广就请求朝廷派霸陵尉和自己一同到右北平上任。结果，到了军中，李广就把霸陵尉杀掉了，报复他曾经侮辱自己的仇恨。
匈奴人听说李广被派来驻守右北平，都称他是“飞将军”，对他十分地敬畏，好几年都不敢入侵右北平。有一次，李广出去打猎，隐约看见草丛里有一只老虎。他立即搭弓放箭。目标被射中了，李广便过去检查。让他大吃一惊的是，“老虎”竟然是一块石头，而且箭头深深地射入了石头里，怎么拔也拔不出来了。于是，他又向这块石头射了几箭，却始终不能再把箭射入石头里边。以前，李广听说他所在的郡有老虎，便经常亲自去射杀。到了他驻守右北平时，又去射虎。这次，老虎十分凶猛，垂死反击，扑伤了李广，但是李广最终还是把老虎射死了。
为人与治军
李广为人廉洁，得到了赏赐就分给他的部下，和手下的士兵们吃一样的食物。他一生里，做了四十多年的两千石俸禄的官职，而他的家里却没有多余的财产，将军本人也始终不谈论家产方面的事情。
将军的个子很高，两只胳膊的长度竟然和猿猴的差不多，，十分灵活。他天生就十分善于射箭，即使他的子孙或向他学习的人，也没有谁能比得上他。将军口齿迟钝，很少说话。和朋友们聚在一起时，他经常在地上用手指比画，玩排兵布阵的游戏，他还玩一种射箭的游戏，输者要被罚酒，而后一种游戏伴随了将军的一生。
他带兵出战，如果军中在缺粮断水几天之后发现了水源，他手下的士兵们没有全喝过，就滴水不沾；士兵们吃不上饭，他也陪着一起挨饿。他对士兵宽厚、和蔼而不苛刻，因此，士兵们乐于为他效劳。将军射箭的套路是，他看见敌人逼近，不到几十步以内，估计射不中就不会发弓；而只要发弓，敌人就会即刻应弦而倒。所以，他的部队在战斗里曾经多次被敌人包围，而他本人在射杀猛兽时也经常受伤。在这种战法的指导下，李广在战术上灵活机智，有勇有谋，敢于打硬仗、打恶仗，射术之精堪称一绝，威震匈奴各部，被匈奴畏誉为“飞将军”。
浴血奋战
郎中令石建去世以后，天子召见了李广，让他代替石建的职位。元朔六年，李广又一次出任将军，跟随大将军卫青，从定襄（今山西省境内）出塞攻击匈奴。随军的将领们大多数都因为斩杀敌人的数量达到了规定的标准而被封侯，而李广的军队却没有战功。