张伯淳9岁举童子科,以父荫铨迪功郎、淮阴尉,改扬州司户参军。咸淳七年(1271)进士。曾监临安府都税院,升观察推官,授太学录。入元后,于至元二十三年(1286)荐授杭州路儒学教授,历浙东道按察司知事、福建廉访司知事。时元世祖诏求江南人才,张伯淳与其内弟赵孟頫同被荐。至元二十九年(1292),应召入见,元世祖问冗官、风宪、盐策、楮币等大政,伯淳对答如流,独具见地,授翰林院直学士,同修国史。进阶奉训大夫,改任庆元路总管府治中,受命清理衢(衢州)、秀(今嘉兴)两地刑狱,处置得宜,颇有政绩。大德四年(1300),拜翰林侍讲学士。次年,护驾进都入朝。卒后谥文穆,归葬崇德离字圩(今桐乡市石门镇西北)。