张伟是明仁宗诚孝张皇后的弟弟、第一代惠安伯张昇的曾孙。
第四代惠安伯张瓒为张伟之父。张瓒死后,张伟于明孝宗弘治七年(1494年)三月袭封为第五代惠安伯。
弘治十二年(1499年),张伟出任陕西总兵官,镇守固原。
弘治十三年(1500年)五月,孝宗亲御平台,出示兵部推举京营大将的奏疏,以此询问在场的大学士刘健等人,刘健等都称道张伟的才干,孝宗于是亲撰敕书,命张伟提督神机营。八月,兼掌左军都督府事。
正德元年(1506年),张伟与英国公张懋、保国公朱晖一同提督团营。
正德三年(1508年),被加授为太子太保。
正德六年(1511年)三月,张伟以总兵官职偕都御史马中锡率领京军讨伐流民刘六、刘七发动的民变(刘六刘七起义)。朝议弹劾张伟拥兵自守、玩寇殃民,明武宗于是将他召回。回朝后,御史吴堂再次劾奏张伟之罪,兵部也请逮捕张伟及马中锡,武宗遂将其下狱论死。之后遭逢大赦,获释,停给岁禄,革职闲住。
正德十年(1515年),张伟请求恢复原有岁禄,武宗下诏赐给一半数额。
正德十五年(1520年),张伟第二次提督神机营。
嘉靖元年(1522年),兼提督团营。
嘉靖二年(1523年),明世宗论及奉迎、防守之功,加授张伟为太子太傅。
嘉靖十四年(1535年)六月,张伟逝世,获赠太傅,谥号“康靖”。