显赫先世
谢忱的先祖曾在河南缑氏(治今河南偃师东南)一带生活,后为避唐末之乱,南迁出仕吴越政权,并逐渐在富阳(今属浙江杭州)定居。自太平兴国三年(978年)钱弘俶“纳土归宋”后,谢忱的曾祖谢涛通过科举,出仕北宋,声名始著,开始成为富阳一带有名的大族,到了其祖父谢绛,政治地位达到了顶峰,为家族最为繁荣的时期。到了其父亲一代,谢氏一门三代人,有六人考中进士,家族多人仕宦。
逐渐平庸
谢忱的父辈身处宋代社会改革激烈的时期,其父亲、二叔先后因为熙宁变法,在政治上遭受打击,获罪于朝。三叔、四叔虽年少文名显赫,但是都因病早逝,谢氏一族深受打击,家族地位日渐衰微。谢忱的祖父谢绛在邓州任上病逝并葬于邓州,其父谢景初亦举家迁往邓州穰县,谢忱没有能考中进士,曾在海州怀仁县任县令。