明成祖起兵,以舍人守北平有功,授义勇卫正千户。
永乐三年(1405),升羽林前卫指挥佥事,调任府军卫。
永乐七年(1409),授昭勇将军。
永乐十二年(1414),跟随北征。
永乐二十二年(1424),明仁宗即位,拜后府都督同知。
洪熙元年(1425),进左都督,掌左府事。
宣德元年(1426),明宣宗征武定州,命张升留守京师。
宣德三年(1428),明宣宗巡边,命张升留守京师。
宣德四年(1429)二月,下敕论张升说:“卿舅氏至亲,日理剧务,或以吏欺谩连,不问则废法,问则伤恩,其罢府事,朝朔望,官禄如旧,称朕优礼保全之意。”命辞去左府事。
宣德九年(1434),明宣宗北征,命掌都督府事,命张升留守京师。
明英宗立,太皇太后下令不要干预朝政。大学士杨士奇称张升贤能,宜加委任,终不许。
正统五年(1440),兄张昶已卒,太后念外氏惟张升一人,授奉天翊卫宣力武臣、特进荣禄大夫、柱国,封惠安伯,岁禄米一千一百石,赐诰券,予世袭。
正统六年(1441),卒,葬于宛平寿安山。明英宗辍朝一日,遣官谕祭。