翁曾源出生官宦世家,为安徽巡抚翁同书之子。自幼熟读经史,尤擅鉴别,在京期间,常陪侍叔父翁同龢至琉璃厂鉴赏,选购历代名家法帖。任京官时,屡受朝廷邀典,期将大用。惜体弱多病,未几即告归。一度曾代上海县学和龙门书院批阅课卷,藉以聊补。书法得翁同龢指导,临池不缀,日有所成。行笔洒脱,深具董书风格。
翁曾源作品常熟翁家,是闻名天下的名门望族。翁曾源的祖父翁心存,道光二年(1822)第二甲第三名进士,咸丰朝官至内阁大学士。"北京政变"后,被慈禧太后任命为同治皇帝的师傅。同治元年(1862)病逝。翁心存的长子翁同书,道光二十年进士,名列第二甲第十七名,官至安徽巡抚。他的第四个儿子翁同龢,咸丰六年(1856)大魁天下,累官至一品尚书,光绪皇帝的师傅,帝党领袖。翁曾源便是翁同书的儿子。