显赫先世
谢悱的先祖曾在河南缑氏(治今河南偃师东南)一带生活,其七世祖为避唐末之乱,南迁至江南一带,此后出仕吴越政权,官位不显,逐渐在富阳(今属浙江杭州)定居。自太平兴国三年(978年)钱弘俶“纳土归宋”后,谢悱的曾祖谢涛通过科举,出仕北宋,声名始著,开始成为富阳一带有名的大族,到了其祖父谢绛,富阳谢氏一门家世益显。
逐渐没落
谢悱父亲谢景初,年少聪颖,年轻时政治能力突出,颇有乃父风范,然而晚年因激烈反对变法,仕途不顺。二叔谢景温因卷入王安石“熙宁变法”风波,政治上受到新旧党派打压,三叔谢景平和四叔谢景回均文采过人,却不幸早早病逝。谢氏自谢悱的父辈一代开始逐渐没落,加上谢悱的祖父谢绛在邓州知州任上病卒并安葬于此,父亲谢景初举家迁往邓州穰县(今河南邓州)。
默默无闻
谢悱曾祖、祖父、父辈三代共有六位进士,到了谢悱这一代,由于父亲和二叔都曾获罪于朝,谢悱亦没有通过科举考试获得更好的晋升途径,仅依靠父亲的荫蔽,出任假承务郎。