有人说，卫家不就因为侥幸出了一个卫子夫，让一家子靠着裙带关系，鸡犬升天了吗？的确，卫青是典型的“裙带官员”。在世袭制盛行、社会上下层之间缺乏流动性的西汉时期，底层百姓要跃升政治高层，依靠裙带关系是最常见、最有效的方法，也几乎是唯一的方法。问题的关键不是指责卫青一家人依靠这种方法提升社会地位，而是要看他们身居高位之后的所作所为。
卫青也知道自己没有尺寸之功，仅仅靠姐姐受宠得来的地位是不稳的。好在卫青是一个能力出众的国舅，又遇到刘彻这个雄才大略的皇帝，不怕没有建功立业的机会。当时，北方的匈奴人经常杀入长城，抢劫汉朝的人口和财富，甚至一度逼近西汉的首都长安，构成了西汉王朝的最大威胁。刘彻自继位以后就筹备反击匈奴，挑选能人干将，准备大干一场。卫青恰巧进入了刘彻的视线。
匈奴人在公元前129年又一次大规模侵略、抢劫西汉州县。这一回，刘彻决定不再忍让，要坚决反击残暴的匈奴人。他挑选了四位将军，分别是已经升任车骑将军的卫青、骑将军公孙敖、轻车将军公孙贺和三朝名将、骁骑将军李广，给他们每人一万骑兵，让他们兵分四路迎击匈奴。卫青第一次带兵出征，就直捣匈奴祭扫天地祖先的龙城，虽然杀敌有限，但政治意义巨大，胜利凯旋。而另外三位将军两路失败，一路无功而还，更衬托出了卫青的能干。汉武帝刘彻非常高兴，加封卫青为关内侯。此后在公元前128年、公元前127年，汉武帝多次派卫青带兵反击南下的匈奴大军。卫青不负厚望，奋勇作战，每次都打得匈奴大败而逃。在公元前127年的战斗中，卫青率军收复了秦朝末年之后就被匈奴人占领的黄河河套地区。河套地区水草肥美，形势险要，汉朝收复后在此设置朔方郡、五原郡，从内地迁徙十万人到那里定居，还修复了秦时蒙恬所筑的防御工事。从此，长安解决了匈奴的威胁，汉朝和匈奴的战争局势得到逆转。卫青立下了大功，被封为长平侯，食邑三千八百户。
此后，卫青活跃在汉匈战争前线。刘彻越来越信任他，给卫青调拨了越来越多的军队，赋予卫青越来越大的指挥权。公元前124年春，汉武帝命卫青节制汉朝大军十几万人进攻匈奴。卫青急行军六七百里，在夜幕中包围了匈奴右贤王的营帐，俘虏匈奴王爷十余人，男女一万五千余口和数百万头牲畜。汉武帝接到捷报，喜出望外，派特使捧着印信在军中升卫青为汉朝的最高军职——大将军，指挥前线所有部队和将领，加封食邑八千七百户。卫青的三个儿子都还在襁褓之中，也被汉武帝封为列侯。其中卫伉为宜春侯，卫不疑为阴安侯，卫登为发干侯。指挥全线部队、父子四人封侯，这在西汉王朝历史上还是首例。卫家创造了这样的殊荣。
那一边，匈奴人被打得伤了元气，可依然猖獗。公元前123年，刘彻命令大将军卫青统帅六路大军，寻找匈奴主力决战，希望彻底解决边患。
卫青的外甥霍去病当年十八岁了，因为家族的荣耀，正担任侍中。霍去病这个小伙子善骑射，死缠着舅舅要从军出征。卫青就任命霍去病为骠姚校尉，调拨给他八百名骑兵。霍去病初生牛犊不怕虎，竟然率领本部八百人，甩开卫青率领的大军，深入敌后数百里、急风暴雨般扫荡匈奴后方，歼灭包括匈奴相国和单于祖父辈贵族等要人在内的上万人，俘虏单于叔父罗姑比等人，一战成名！汉武帝封霍去病为冠军侯，食邑两千五百户。卫家又多了一位侯爵！
到现在为止，卫青的地位相当稳固了。虽然这一回，他率领朝廷大军，耗费大量军需物资，没有取得实质性的进展，但是因为霍去病的狂飙猛进，本回军事行动还不算失败。卫青没有受到指责，也没有得到封赏。其实，卫青也不需要这一次的封赏和地位的提高。他的家族权势已经如日中天了。卫青和霍去病两个人掌握着帝国的军队，声望显赫；卫子夫已经生下了皇长子刘据，取代了陈阿娇的皇后地位，成为国母，掌管着后宫，是他们的坚强后盾。他们三人是卫家主要的权势人物，也是家族权势的主要来源。卫家还通过联姻等手段，以自己为中心聚集了一批显贵的亲戚朋友，俨然是西汉王朝无人可及的政治家族了。
卫家显赫后，长安城中有歌谣说：“生男无喜，生女无怨，独不见卫子夫霸天下。”言下之意是说卫家的显贵全靠卫子夫。
的确，两汉时期多数左右朝政的外戚都是靠裙带关系窍踞高位的，但卫家的情况不同。卫家的兴起有两大支柱。一个是外戚的身份，一个是卫青和霍去病建立的军功。如果一家人仅仅靠女儿嫁给皇帝，突然暴发显贵起来，权力的基础总是不那么坚固。而卫家则用外戚的身份作为建功立业的基础。和汉武帝刘彻的亲密关系为卫青、霍去病提供了便捷的舞台，可以比较没有拘束地施展拳脚。等他们建立旷世奇功后，外戚的身份就不那么重要了。就算只看在卫青、霍去病舅甥两个人浴血奋战、杀敌无数的分儿上，卫家也应该获得那么高的地位。战功比皇亲国戚的身份更有用，姐妹再受皇帝的宠爱也有失宠的那一天，但战功是实实在在摆在那里，不会失去的。
这就好像一个巨人有两条腿走路，一条腿是外戚身份（卫子夫受宠），一条腿是军功（卫青、霍去病前线统兵杀敌）。两条腿都很健壮，这个巨人走起路来就稳稳当当的。这就是卫家为什么能够超越之前历史上的外戚家族，惊羡天下的原因。