史建瑭年少时在晋王李克用军中担任裨校。唐朝光化年间，史建瑭率领昭德军与李嗣昭攻打汾州（今山西汾阳）。他冒着如雨箭矢率先登城，擒获叛将，并由此被授予检校工部尚书。

自从丁会投降后梁，晋军与梁军在潞州相峙。后梁开平二年（908年），后梁太祖朱温围攻潞州，史建瑭作为先锋与总管周德威一同驰援潞州。史建瑭自引精骑，设伏擒生，夜袭梁营，斩杀梁军数千人，致使梁军不敢离营。梁军畏惧史建瑭，互相提醒要避开史建瑭。

开平四年（910年），后梁朱温派王景仁攻打赵地，晋军救赵，史建瑭为先锋，兵出井陉，在柏乡交战。梁军摆方阵，分兵为二：汴、宋之军居左，魏、滑之军居右。周德威击其左，史建瑭击其右，梁军大败。

开平五年（911年），高邑之战中，史建瑭乘黄昏视野不清之机，率领精骑长趋奔袭，夜入梁营，俘斩数千梁兵。史建瑭因功加任检校左仆射。李存勖大败梁军班师时，史建瑭留守赵州，生擒来犯的梁将氏延赏。

乾化二年（912年），晋军攻打燕地，燕王刘守光向后梁求援，朱温率兵攻打赵地，包围枣强、蓚县，并扬言梁军五十万将攻镇州、定州。当时晋军精兵都在幽州激战，只有史建瑭与符存审率领三千骑兵屯守赵州。梁军已攻占枣强，符存审控制下博桥。史建瑭分其部下五百骑为五队：一队向衡水，一队向南宫，一队向信都，一队向阜城，自率一队，约定各俘虏后梁放牧者十人到下博会合。到黄昏，俘虏梁兵数十人，都杀掉，各队留一人放回去，告诉说：“晋王大军快到了。”第二天，史建瑭率百骑拿着后梁的旗帜，假装后梁放牧者，黄昏进攻梁营，杀守门卒，纵火大喊，斩杀数十百人。后梁放牧者遇到晋兵多数被杀，逃归者都说晋王大军快到了，朱温连夜拔营而去，蓚（tiáo）县晋兵追击，梁军丢弃辎重铠甲不计其数。朱温的病因此而加剧。晋军因此能拼全力攻下燕地，都是他们二人的功劳。

贞明二年（916年），史建瑭跟随李克用之子李存勖进入魏博，在故元城击败梁将刘掞，收复澶州。因功授任刺史、检校司空、外御骑军都将，不久改任贝、相二州刺史，屯兵德胜。

龙德元年（921年），镇州大将张文礼叛变，李存勖命阎宝征讨镇州，史建瑭为前锋马军都将。八月，攻下赵州（今河北赵县），俘获赵州刺史王鋋并进逼镇州。史建瑭在镇州城下作战中为流矢所中，医治无效，卒于军中，时年四十六岁（《新五代史》作四十二岁）。