张安世少年时,靠父亲张汤的地位出任郎官。因为擅长书法而供职尚书,张安世记忆力出众,皇上认为他的才能不同一般,提拔他做了尚书令,调任光禄大夫。
后元二年(前87年),汉昭帝即位,大将军霍光执政,由于张安世忠厚,霍光十分器重他。正值左将军上官桀父子及御史大夫桑弘羊与燕王、盖主谋反被杀,霍光由于朝中无旧臣,奏请任命张安世为右将军、光禄勋,辅助自己。张安世在任13年间,国家平安无事,任用贤士。天子下诏书夸奖张安世的功绩,封张安世为富平侯。
元平元年(前74年),汉昭帝驾崩,其侄子昌邑王刘贺被霍去病的同父异母弟弟霍光拥立为帝。刘贺在即位的21天内就做了1127件不该做的荒唐事,于是被废。当时出任光禄大夫的邴吉此时向霍光推荐刘病已,于是霍光立时年19岁的刘病己为皇帝,史称汉宣帝。汉宣帝初立,褒奖大臣,加封张安世一万零六百户,他的三个儿子张千秋、张延寿、张彭祖,都做了中郎将侍中。
地节二年(前68年),大将军霍光去世后数月,御史大夫魏相密封奏书推举张安世出任大将军一职, 其子张延寿稳重厚道,出任光禄勋,兼领宿卫职务。汉宣帝想用安世父子。张安世听说这事情,再三坚辞去大将军一职,可是汉宣帝不答应。几天后,加拜为大司马、车骑将军,兼领尚书事。几个月后,罢除车骑将军的屯兵,改为卫将军,领两宫卫尉,城门、北军兵隶属张安世管辖。
当时霍光之子霍禹为右将军,皇上改任霍禹为大司马,撤去右将军的屯兵,用官号虚尊嘉赏,事实是剥夺霍禹的兵权。一年多后,霍禹谋反,祸及宗族,张安世一向小心畏忌,十分担忧,他的孙女张敬是霍氏外亲族的妻子,应当连坐被诛,张安世的脸色瘦弱憔悴。皇上看了很奇怪也怜惜,便问了左右侍从,于是赦免了张敬,以宽慰张安世。
张安世看到父子尊贵显耀,心怀不安,替子张延寿请求外出补官,皇上任为北地太守。一年多后,皇上可怜安世年老,又召张延寿为左曹太仆。当初,安世兄张贺得宠于卫太子,后来太子起兵失败,宾客都被杀,张安世为张贺上书求情,张贺被免去死罪处以宫刑。
元康四年(前62年)春,张安世有病,上疏归还侯爵,乞求骸骨归故里。汉宣帝希望张安世能好好养病,多辅佐自己几年。于是张安世又强起办事,到秋季去世。天子赠印绶,送来轻车甲士,谧号敬侯。赐冢地在杜县束,挖上起冢,建祠堂。子延寿嗣爵位。
班固:“安世履道,满而不溢。”
王世贞:“张汤之于安世,父子也。其才智强记同,然而汤刻而憸,安世慎而共,汤胆大安世小。若是乎熏莸也,然而有不可晓者,汤廉而安世贪也。”
张安世因擅长书法而供职尚书,尽心尽力于职责,例行假日没有外出过。皇上巡视河东,曾经丢失三箱书,下诏询问没有人能知道,只有张安世记住了那些书的内容,把书中的内容详备地写出来。后来悬赏征求找到了那些书,用来校对没有什么遗漏的。皇上认为他的才能不同一般,提拔他做了尚书令,调任光禄大夫。
张安世还是个为官廉洁之人。他曾举荐一人为官,后来该人来向其道谢,张安世说自己是以为举贤达能,乃是公事,岂能私谢,于是与之绝交。
有一位郎官功劳很大,却没有调升,自己去求张安世为他说话。张安世对他说道:“你的功劳很大,皇上是知道的,作人臣子的,怎么能自说长短处!”坚决不答应他。不久这位郎官果然升官了。
张安世谨慎周密,每次与皇帝商议大事,决定后,他总是称病退出。等听到皇帝颁布诏令后,再假装大吃一惊,派人到丞相府去询问。所以即使是朝廷大臣,无人知道他曾参与此事的决策。
任光禄勋时,有郎醉酒小便于殿上,主事报告按法处理,安世说:“怎么知道不是反水浆造成的呢?怎么能拿小过来治罪!”郎官奸淫官婢,婢兄自己说出,张安世说:“奴仆发怒,诬蠛士大夫。”让官署责备奴仆。