张堪出身于南阳豪门大族，很早便成为孤儿，他把父亲留下的数百万家产让给堂侄。张堪十六 岁时，来到长安受业学习。张堪的品行超群，诸儒都称他为“圣童”。光武帝刘秀还是一介布衣的时候，看到张堪品行兼优，常常夸奖他。

刘秀登基称帝后，中郎将来歙举荐张堪，刘秀便征拜张堪担任郎中。经过三次调迁后，升任谒者。刘秀派他转运积聚的布帛，并率领骑兵七千，前往协助大司马吴汉征伐公孙述。在半道上又追任为蜀郡太守。当时吴汉的部队只剩下七天的军粮，因此暗地准备船只打算退兵。张堪听说后，赶紧拜见吴汉。张堪对吴汉说：“公孙述必败，不应在这个时候退兵。”吴汉采纳他的意见，于是故意示弱以引诱敌。公孙述果然中计，率兵出城追击，而被斩首。成都被攻占后，张堪首先派兵占据城池，然后清查仓库，收其珍宝，并将它逐件记录，上报朝廷，没有半点遗漏。他还慰问、安抚成都的吏民，使蜀地的吏民十分高兴。张堪在蜀郡担任太守前后两年，刘秀再次调任他为骑都尉。

后来，张堪率领骠骑将军杜茂的部下士卒，在高柳击败匈奴，被任命为渔阳太守。在任期间，他率领军队追捕奸险狡猾的人，功劳赏罚非常分明，官吏百姓都愿意追随他，为他所用。有一次，匈奴一万骑兵入侵渔阳，张堪率领数千骑兵飞奔出击。最后大败敌军，边界地区得以安宁太平。紧接着他在狐奴县开辟稻田八千多顷，鼓励百姓进行耕种，从而使百姓逐渐殷实富有。百姓编成歌谣唱道：“桑树茂盛无旁枝，麦结双穗丰收时。张君治理郡中事，其乐融融不可支。”张堪在渔阳任职八年，匈奴不敢进犯边塞。

刘秀曾召见各州郡主管考核官员的官吏，询问各地的风土人情及其前后守令贤能与否。蜀郡的计吏樊显进言道：“渔阳太守张堪昔日在蜀郡时，心地仁慈，爱护部下，他的威名足可以讨伐奸贼。在以前击败公孙述的时候，珍宝堆积如山，他掌握的财富，足可以使子孙享受十代。而他解职还都时，乘坐的只是一辆断辕的破车，车上只有布被包袱而已。”刘秀听后，叹息好久，任命樊显为鱼复县长吏。正准备征召张堪，张堪不幸病逝。刘秀为他深深地哀悼、叹息，颁发诏书，褒扬他的功绩，并赏赐布帛一百匹。