史祥字世休，朔方人。
父亲史宁，北周少司徒。
史祥少有文才武略，仕北周，为太子车右中士，袭爵位为武遂县公。
隋高祖受北周禅让后，授他仪同，兼管交州事，晋爵为陽城郡公。
史祥在交州，颇有仁政。
几年后，转任骠骑将军。
在伐陈战争中，他随宜陽公王世积，率水军出九江道，为先锋，与陈军交战，打败陈军，进占江州。
皇上听到消息，十分高兴，下诏书说：“我因陈叔宝世代为逆，肆虐百姓，所以命令诸军拯救那里的人民。
小寇狼狈为奸，仗着江湖之险，所以敢泛舟江湖，对抗王师。
你亲率所部，抓住机会奋勇进击，把敌人沉到江底又俘虏很多，其功很大。
又听说你率部攻占江州。
行军总管、襄邑公贺若弼既占京口，新义公韩擒虎攻克姑熟。
你骠骑将军既已渡江，自当所向无敌。
晋王的兵马将进建业，扫荡吴、越，为期不远。
你骠骑将军的高才壮志，是我所知道的。
望你好好经略，以立大功，得大赏，使富贵功名永垂史册。”升他为上开府。
不久，授他蕲州总管。
不久，调任左领左右将军。
后以行军总管身份，随晋王杨广在灵武进攻突厥，大破敌军。
升任右卫将军。
仁寿中(601～604)，他率部屯扎弘化，以防备胡人。
炀帝那时任东宫太子，送书信给史祥说：将军领兵在塞外，胡虏清尘。
禾末马休兵，尚事打猎，足使李广惭愧于你的大勇，魏尚惭愧于你的大能。
超过这两位贤人的，只有你了。
往日我滥竽充数，得以领兵，振皇威于塞外，驱犬羊于大漠。
那是我们同行于军旅之中，相聚于军旗之下。
我们望龙城而怒发冲冠，看狼居而发愤振威。
将军你谋略盖世，勇往直前，但事不遂心，不能与你一起共事。
每每想到这里，我心里愁得什么似的。
将军你志向远大，我们早就如胶似漆，久而久之，我更敬重你，所以我们如同鱼水。
近来我陪伴跟随皇上，说到上京长安去。
我本想到南方我的番国去，在下国宣传皇上的旨意，不料皇上改变初衷，让我当了太子，我真是战战兢兢，如临深谷，如履薄冰。
至于建节于边疆，征讨四方，在军帐里作一方长官，安抚百姓，上按规矩办事，下尽臣子之忠，这是我的愿望，是我所心甘情愿的。
仰慕前贤，庶几可以报效国家。
不料让我当了太子，入守神器，当万国首领。
我身轻负重，怎能承受得了？希望老朋友帮助我。
近来监国，很多空闲。
养病于闲宫之中，厌烦在北阁的闲居，不能在南皮骑马射箭。
博望苑里，既缺名贤，飞盖园中，当然不会与凡庸之辈终宴。
亲朋们远走了，琴书都寂寞了，我想念我的贤士们，就像生了病，头很痛一样。
史祥复信说：送信的人来临，我奉读了您赐给我的书信，知道了您的情况。
您对我的恩情，形诸文墨。
不料这飞雪增冰之地，忽然出了三春的太陽；这毳巾莫束袖的荒蛮地方，忽略听到了萧韶之乐。
我惊喜不已，思绪飞向远方，不知从何说起。
史祥我小时未学军旅打仗，长大后又遇到太平世界，有幸因先人的余荫，得以当上宿卫。
我怕自己才如驽马，没有到远处去的本事；人如朽木，没有折冲之才。
怎敢追随古人，与他们比优劣？往昔王师征讨，天人都受到帮助；挥旗大漠，国威震动海外。
在那个时候，猛将如云，谋士如雨，至于我史祥，只不过排队在兵卒之中，得以听到您的指挥号令，得以免除逗留的责罚罢了。
我能有机会根据您的指挥，揣摩您的用意，实在是我的大幸！您于是把我们的感情比作雷、陈，把交往的事情比作刘、葛，这实在是圣人您委曲自己，并非庸人我想这么去比。
为什么呢？川泽很大，污水也归去；松柏很高，茑萝就依托它。
我这依恋之心，是您所知道的。
敬请您发扬元首的品德，焕发太陽的光辉，修行三善，那么天下万国就好了。
这样，就会道行高过周诵，友好超过商山四皓。
您的伟大，怎能管窥得到？您监国多闲，还请您养德怡神，读六经和诸子百家。
过去和您追西园之爱客，眷顾南皮的出游，您过去给我的恩典，我不会忘记。
史祥我自从忝为边将，几过寒暑。
我身在边疆，心向朝廷。
每到傍晚，清风徐起，明月孤照，就想鸣葭开路，就想坐在车后回到朝廷去。
边疆与京师山川悠远。
仰望浮云，让我潸然泪下。
太子对他很亲近。
炀帝即位后，汉王杨谅发兵造反，派部将綦良从滏口到黎陽，堵住白马津；派余公理从太行下河内。
炀帝任史祥为行军总管，驻扎在河陰，好久不能过黄河。
史祥对部下说：“余公理轻佻无谋，才能一向不足称道。
他又新近得志，以为部下很多可以依靠，仗着人多，必然骄傲。
而且，黄河以北的人不习兵战，即人们所说把市民赶去作战。
照我看来，他不难对付。”于是下令军中修造进攻用的器具。
余公理派人侦察到情况后，果然把部队驻扎在河陽内城，以防备史祥。
史祥于是把船靠在黄河南岸，余公理聚集甲兵以阻挡。
史祥于是挑选精兵从下游偷偷渡河，余公理率部拒守。
史祥到了须水，两军相对，公理军没布好阵，史祥纵兵猛攻，大破公理。
史祥东进黎陽，讨伐綦良等人。
綦良摆好阵势等待，还未交战，綦良就弃军逃走了。
于是他的部下溃不成军，史祥乘机纵兵，杀了一万多人。
史祥升任上大将军，赐缣采七千段，女乐十人，良马二十匹。
转任太仆卿。
皇上曾赐史祥诗道：“伯..朝寄重，夏侯亲遇深。
贵耳唯闻古，贱目讵知今。
早扌票劲草质，久有背淮心。
扫逆黎山外，振旅河之陰。
功已书王府，留情《太仆箴》。”史祥上表辞谢，炀帝亲草诏书说：“往年有劳你问罪兴师于河北，反贼那时占据了两关之路，占据粮仓，阻断黄河，百姓胁从，人也很多了。
你尽忠奋勇，一举克定。
《诗经》上不是说‘丧乱既年，既安且宁’吗？如不是有雄才大略，谁能到这一步呀？所以我略略表示一下感谢之情，你又何必推辞呢？”不久，史祥升任鸿胪卿。
当时，突厥的启民可汗请求朝拜炀帝，炀帝让史祥去迎接他。
跟随炀帝征讨吐谷浑，史祥率部从小路袭击贼人，打败了他们，俘虏男女一千多人。
炀帝赐他奴婢六十人，马三百匹。
升任左光禄大夫，拜授左骁卫将军。
辽东战争中，他率部出蹋顿道，不利而还。
因此削职为民。
不久授他燕郡太守，被贼人高开道所包围，史祥装病不管事。
城陷后，高开道对他很客气。
刚好高开道与罗艺通和，把史祥送到涿郡去，史祥死在路上。