乱世割据

张全义世代务农，曾在临濮县衙做小吏，多次受到县令的困辱，于是就逃亡加入了黄巢的起义军。黄巢攻入长安，建立大齐政权，任命他为吏部尚书，充水运使。黄巢失败时，他到河阳（今河南孟州）投降唐河阳节度使诸葛爽，累升至裨校，屡立战功，诸葛爽表请唐廷任命他为泽州（今山西晋城）刺史。唐僖宗赐其名张全义。

光启二年（886年）十月，诸葛爽病死，大将刘经与张全义立诸葛爽之子诸葛仲方为留后。刘经与诸葛爽另一大将李罕之争夺洛阳渑池，为李罕之所败，退守河阳。诸葛仲方年幼，刘经派张全义前去抵敌，张全义却与李罕之结为同盟，调转矛头进攻刘经，结果被刘经打败，被迫与李罕之退保怀州（今河南沁阳）。适逢秦宗权部将孙儒攻陷河阳，刘经和诸葛仲方逃到汴州（今河南开封），张全义和李罕之分据怀州和泽州以抗拒孙儒。

光启三年（887年）六月，朱温击败秦宗权，孙儒亦在屠杀河阳全城后撤离。李罕之将张全义召至泽州，与他一起收集余众，李罕之占据河阳，张全义占据东都洛阳，并一起求援于河东节度使李克用。李克用任命其部将安金俊为泽州刺史，率骑兵协助李罕之和张全义，并上表请求李罕之为河阳节度使，张全义为河南尹，治理洛阳。

归降朱温

李罕之是张全义的“刻臂为盟，永同休戚”的患难之交，又是他的上级，两人本来相处甚欢。张全义为人勤俭，在洛阳治理有方，仓储户口逐渐充实，而李罕之治理无方，贪暴不法，军中乏食，所以经常向张全义求取军粮及缣帛，张全义起初都慷慨提供，次数多了，张全义也无法如数提供，而且稍微不如数，李罕之就逮捕洛阳官吏到河阳杖责，张全义手下将士都愤愤不平，唯独张全义说：“李太傅所求，奈何不与！”仍然竭力满足李罕之的需求。然而在表面的畏惧之下，张全义内心对李罕之已极为不满，李罕之也以为张全义服从自己，更加骄傲。

文德元年（888年）二月，李罕之出兵攻打护国节度使王重盈所据的晋（今山西临汾）、绛（今新绛）二州，王重盈秘密联络张全义，要他在背后捅李罕之一刀，于是张全义乘李罕之后方无备，派兵袭取了河阳，自任河阳节度使。李罕之无奈，投奔李克用，借骑兵七千回攻河阳，围困日久，城中食尽，张全义部“啖木屑以度朝夕”，向朱温求救。四月，朱温派丁会、葛从周、牛存节率兵数万救援才得以解围。朱温安排丁会守河阳，令张全义依旧担任河南尹，同年六月还专门在洛阳设置佑国军，让张全义当节度使。张全义对这一次救命之恩铭感于心，从此听命于朱温。

服事后梁

大顺元年（890年）十月，佑国节度使张全义加同平章事。景福元年（892年）二月，朱温推荐张全义兼河阳节度使。光化元年（898年）十月，加侍中。天复元年（901年）五月，加中书令。

当时，唐昭宗正被镇国节度使韩建挟持于华州，朱温屡次上表请求东迁洛阳，昭宗虽不许，但朱温已命令张全义修缮洛阳宫殿，张全义也十分卖力，修了数年才竣工。天祐元年（904年）四月，唐昭宗抵达洛阳，张全义担心朱温对他不放心，就主动避让权位。朱温也担心张全义对自己的篡位阴谋“心有异同”，就顺水推舟，调他为天平军节度使、守中书令，封为东平王。朱温到处征战，都是张全义尽心尽力给他提供后勤保障。同年八月，昭宗被弑杀，十月，张全义来朝，朱温将他调回河南尹任上，兼忠武军节度使、判六军诸卫事。三年后，朱温建梁称帝，又命张全义兼河阳节度使，进封魏王，其后赐名宗奭。

开平二年（908年），朱温册拜张全义为太保，兼陕虢节度使、河阳尹。开平四年（910年），册拜太傅、河南尹、判六军，兼郑、滑等州节度使。乾化元年（911年），册拜太师。其时梁晋争霸，朱温自柏乡之战后处于不利局面，多次兵败于河北，张全义就搜刮卒伍铠马，每月献给朱温，以补其缺。乾化元年（911年）七月，朱温在张全义家里的会节园避暑，将张全义的妻子女儿全部强奸。张全义之子张继祚羞耻难当，想要杀死朱温，张全义制止说：“当年我被李罕之围困在河阳，每天吃木屑，只剩下一匹马，想杀掉来犒劳军士，死亡不过是朝夕之间的事，而梁却出兵了，所以我才活到今天，这个大恩不能忘记！”张继祚便住手。朱温晚年，猜忌之心愈发强烈，张全义也成为怀疑对象。张全义的夫人储氏每次入宫见朱温时，都设法为丈夫说情。有时朱温怒不可遏，急召张全义，储氏谒见朱温，说：“张宗奭不过是个农夫，除掉荆棘，开坑荒地，经营洛阳三十多年，资助陛下创业。现在他老了，活不了几天了，而您却怀疑他，这是为什么？”朱温就笑道：“我没有恶意，您老人家就不要再说了！”

投奔后唐

乾化二年（912年）闰六月，朱温被朱友珪弑杀，朱友珪任命张全义为守太尉、河南尹、宋亳节度使兼国计使。翌年二月，朱友贞杀朱友珪而自立，任命为张全义为洛京留守，兼镇河阳。贞明三年（917年）十一月，张全义被任命为天下兵马副元帅。但朱友贞倚靠赵岩、张汉杰，并不信任张全义；又任命无能的段凝为北面招讨使，负责抵御李存勖的攻势。张全义曾遣使启奏朱友贞，请求代段凝为北面招讨使，朱友贞不听。

张全义虽然身在后梁，但他有个弟弟张全武当初在河阳被李克用的军队俘虏，并得到厚待，张全义通过张全武这个渠道也常常秘密通款于太原。同光元年（923年，龙德三年）十月，李存勖入汴梁，后梁亡。十月二十七日，张全义从洛阳赶来，泥首待罪，并献马上千匹。李存勖安慰他很久，说：“卿家弟侄，幸复相见！”张全义跪在地上感激涕零。李存勖考虑他年老，令人扶着上殿，宴会甚欢，并命皇子李继岌、皇弟李存纪等待他以兄长之礼。

五年前，朱友贞曾打算到洛阳祭天，因战事吃紧而作罢，但祭天所需的仪仗器具一直保存着。张全义趁机对李存勖说：“请陛下便幸洛阳，臣已有郊礼之备。”李存勖大喜，第二天就拜他为尚书令、魏王、河南尹。同光二年（924年）二月，李存勖完成郊祀，又升张全义为守太尉、中书令、河南尹，改封齐王，兼领河阳三城节度使，赐“保忠归正安国功臣”号。此外，张全义还一直给刘皇后行贿，作为自己的保护伞，刘皇后也认他为义父。

忧惧而死

同光四年（926年），张全义卸下河南尹的职位，改任忠武军节度使、检校太师、尚书令。当年二月，赵在礼据魏州（邺都）发动兵变（邺都兵变），李存勖打算亲自征讨，大臣们则主张派李嗣源前往，李存勖本不答应，最后在张全义的力荐下才同意。可是李嗣源到魏州后，便卷入兵变，被变兵推为领袖，倒戈反攻洛阳。张全义闻变后，忧惧不食，于同年三月十五日（儒略历926年4月29日）死于洛阳家中。终年七十五岁。李嗣源即位后，追赠为张全义太师，赐谥号“忠肃”。