留心断狱
张皓少年时研习《律》、《春秋》,游学京师雒阳,与广汉人镡粲、汉中任李郃、蜀郡人张霸共结为友善。永元(89年—105年)年间回乡在州郡任职,后被征辟至大将军邓骘的府中为官,经五次升迁后任尚书仆射,任职八年后出任彭城王刘恭的国相,在任内推荐隐士闾丘邈等人。
公元120年(永宁元年),张皓被任命为廷尉,张皓尽管不是世代法家,但留心刑罚断狱,常与尚书辩论疑难案件,他的意见大多因理由充分被采纳。
谏废太子
公元124年(延光三年),汉安帝刘祜的乳母王圣、大长秋江京以及中常侍樊丰等人诋毁太子刘保的奶娘王男和厨监邴吉等人,王男等被杀,家属被流放到比景。太子思念王男和邴吉,屡屡为此叹息。江京、樊丰怕有后患,便与阎皇后凭空妄造证据,罗织罪名诬陷太子和东宫官员。安帝发怒,召集三公九卿及以下的群臣,讨论要废黜太子。耿宝等秉承旨意,一致认为应当废黜。张皓与太仆来历、太常桓焉提出异议说:“根据经典说,年龄不到十五岁的人,过失与罪恶不由自身负责。况且王男、邴吉的奸谋,太子或许并不知晓,应当为他挑选忠良之臣做保傅,用礼义进行辅佐。废黜太子之事重大,这实在是圣恩所应留驻之处!”安帝不听。退朝后,张皓又上书说:“从前奸臣江充捏造证据,进行诬陷,使戾太子遇祸,武帝很久以后才觉悟过来,尽管追补从前的过失,但后悔又怎么来得及!如今皇太子年方十岁,没有受过保傅的教育,能够骤然责备他吗?”奏书呈上,安帝置之不理。
进贤好士
公元126年(永建元年),汉顺帝刘保即位后,擢升张皓为司空。张皓在职时向朝廷推荐许多贤才,天下称赞他推荐贤。后来,清河人赵腾上书言灾异变化,讥讽朝政,被拘捕治罪,牵连到八十多人,都因诽谤朝廷,应当被处以重法。张晧上疏劝谏说:“臣听说尧舜设立敢谏鼓,三王立诽谤木,《春秋》采好事,写恶事,贤明的天子,不加罪于草野的小民。赵腾等虽然抵触朝廷犯法,但他说话是想尽忠正谏。如果应当诛杀,天下人的嘴巴将堵着,谏争的源流就塞住了,这不是宏扬道德以作后人表率的方法。”顺帝省悟,减赵腾死罪一等,其余免职或罚往边地。
公元129年(永建四年)八月丁巳日,张皓因阴阳不和被免官。
去世
公元132年(阳嘉元年),张皓再次担任迁尉。同年,张皓去世,享年八十三岁。朝廷派使者吊祭,赐葬地于河南地界。