1898年(光绪二十四年)3月14日生于河南项城,系张锦芳之子,袁世凯的表侄,过继其伯父张镇芳。
7岁入私塾,9岁能写诗,享有“神童”之誉。曾与袁世凯的几个儿子同在英国人办的一所书院读书。
1918年毕业于袁世凯混成模范团骑兵科,并由此进入军界,历任安武军全军营务处提调、陕西督军公署参议。后曾在曹锟、吴佩孚、张作霖部任提调参议等职(皆名誉职)。
1927年起投身金融界。历任盐业银行总管理处稽核,南京盐业银行经理、常务董事。秦陇实业银行经理等职。
1937年抗日战争爆发后,一度去西安,后致力于写诗填词。
抗战胜利后,曾任国民党第11战区司令长官部参议、河北省政府顾问、华北文法学院国文系教授,故宫博物院专门委员,北平美术分会理事长等职。
1947年6月在北平参加中国民主同盟,任民盟北平临时委员会委员,参加北大学生会助学运动、反迫害、反饥饿运动、抗议枪杀东北学生等爱国民主运动。
北平解放后,曾任燕京大学国文系中国艺术史名誉导师、北京中国书法研究社副社长、北京京剧基本艺术研究社副主任理事、北京棋艺研究社理事兼总干事、北京中国画研究会理事、北京古琴研究会理事、文化部文物局文物鉴定委员会委员、公私合营银行联合会董事、第1届北京市政协委员、中国民主同盟总部财务委员会委员、文教委员会委员、联络委员会委员。
1956年加入中国国民党革命委员会;
1958年划为右派分子(1980年平反)。
1962年起任吉林省博物馆副研究员、副馆长。
“文化大革命”中遭到迫害和诬陷,1972年,周恩来得悉后,指示聘任他为中央文史研究馆馆员。
晚年还担任过北京中山书画社社长、北京中国画研究会名誉会长、中国书法家协会名誉理事、京华艺术学会名誉会长、北京戏曲研究所研究员、北京昆曲研习社顾问、民盟中央文教委员等职。
1982年正月,参加宴会归来的张伯驹突患感冒,被送进北大医院,因所谓“级别不够”不能住双人或单人病房,张伯驹和七八位病人挤在一个病房,不时有重病号抬进来,死的人被拉出去,心绪不安的老人便要回家,2月26日,等到女儿终于拿到同意调换医院的“批令”时,张伯驹却不幸离开人世,享年84岁。