少有文武才干，仕周太子车右中士，袭爵武遂县公。高祖践阼，拜仪同，领交州事，进爵阳城郡公。在州颇有惠政。后数年，转骠骑将军。伐陈之役，从宜阳公王世积，以舟师出九江道，先锋与陈人合战，破之，进拔江州。上闻而大悦，进位上开府。寻拜蕲州总管，未几，征拜左领左右府将军。后以行军总管从晋王杨广击突厥于灵武，破之。迁右卫将军。

仁寿中，率兵屯弘化以备胡。炀帝时在东宫，遗祥书。史祥答书曰：行人戾止，奉所赐况，恩纪绸缪，形于文墨。不悟飞雪增冰之地，忽载三阳，毳幙韦韝之乡，在俄闻九奏。精骇思越，莫知启处。祥少不学军旅，长遇升平，幸以先人绪馀，备职宿卫。惧驽蹇无致远之用，朽薄非折冲之材，岂欲追踪古人，语其优劣？曩者王师薄伐，天人受脤，绝漠扬旌，威震海外。当此之时，猛将如云，谋夫如雨。至若祥者，列于卒伍，预闻指踪之规，得免逗遛之责，循涯揣分，实为幸甚。爰以情喻雷、陈，事方刘、葛，信圣人之屈己，非庸人之拟议。何则？川泽之大，污潦攸归，松柏之高，茑萝斯托。微心眷眷，孟侯所知也。抑惟体元良之德，焕重离之晖，三善克修，万邦以正。斯固道高周诵，契叶商皓，岂在管蠡所能窥测！伏承监国多暇，养德怡神，咀嚼六经，逍遥百氏。追西园之爱客，眷南皮之出游，畴昔之恩，无忘造次。祥自忝式遏，载罹寒暑，身在边隅，情驰魏阙。每至清风夕起，朗月孤照，想鸣葭之启路，思托乘于后车。塞表京华，山川悠远，瞻望浮云，伏增潸结。太子甚亲遇之。

隋炀帝即位，汉王杨谅发兵作乱，遣其将綦良自滏口徇黎阳，塞白马津，余公理自太行下河内。帝以祥为行军总管，军于河阴，久不得济。祥谓军吏曰：“余公理轻而无谋，才用素不足称，又新得志，谓其众可恃。恃众必骄。且河北人先不习兵，所谓拥市人而战。以吾筹之，不足图也。”乃令军中修攻具，公理使谍知之，果屯兵于河阳内城以备祥。祥于是舣船南岸，公理聚甲以当之。祥乃简精锐于下流潜渡，公理率众拒之。祥至须水，两军相对，公理未成列，祥纵击，大破之。东趣黎阳讨綦良等。良列阵以待，兵未接，良弃军而走。于是其众大溃，祥纵兵乘之，杀万余人。进位上大将军，赐缣彩七千段，女妓十人，良马二十匹。转太仆卿。帝尝赐祥诗，史祥上表辞谢，帝降手诏曰：“昔岁劳公问罪河朔，贼尔日塞两关之路，据仓阻河，百姓胁从，人亦众矣。公竭诚奋勇，一举克定。《诗》不云乎：‘丧乱既平，既安且宁。’非英才大略，其孰能与于此邪！故聊示所怀，亦何谢也。”

寻迁鸿胪卿。时突厥启民可汗请朝，帝遣祥迎接之。从征吐谷浑，祥率众出间道击虏，破之，俘男女千馀口。赐奴婢六十人，马三百匹。进位左光禄大夫，拜左骁卫将军。及辽东之役，出蹋顿道，不利而还。由是除名为民。俄拜燕郡太守，被贼高开道所围，祥称疾不视事。及城陷，开道甚礼之。会开道与罗艺通和，送祥于涿郡，卒于途。