显赫先世

谢愔的先祖本贯河南缑氏（治今河南偃师东南），后为避唐末之乱，南迁出仕吴越政权，逐渐在富阳（今属浙江杭州）定居。自太平兴国三年（978年）钱弘俶“纳土归宋”后，谢愔的曾祖谢涛通过科举，出仕北宋，富阳谢氏家族开始崛起。自谢涛始，一门三代，六进士，仕宦的家族成员较多，在其祖父谢绛这代其政治地位达到了顶峰，为富阳谢氏家族最为繁荣的时期。

逐渐没落

谢愔父亲谢景初、二叔谢景温年青有为，在地方任职时均颇有政声，却因先后卷入王安石“熙宁变法”政治漩涡之中，仕途坎坷，获罪于朝。三叔谢景平和四叔谢景回均文采斐然，却不幸早早病逝。谢氏自谢愔的父辈一代开始逐渐没落，加上谢愔的祖父谢绛在邓州知州任上病卒并安葬于此，父亲谢景初遂举家迁往邓州穰县（今河南邓州）。

地方小吏

宋代社会竞争激烈，士人家族需要不断接受挑战，确保地位，谢愔虽才气过人，但未能进士登科，科举方面没有优势，直接导致其官职变小，俸禄变少。加之，为官之时没有什么政绩，升迁的机会微乎其微。此外父辈的获罪，无疑给谢愔的仕途上造成了不利影响。谢愔做过郢州长寿主簿，晚年为邓州职事官。

为父伸冤

谢氏家族的家风淳朴，谢景初性格“性刚直，不与俯仰。遇事明锐，勇于敢为”，谢愔在其父在邓州养病期间长伴榻前，性格勇敢果断、直言不讳，元祐年间，毅然为父申辩熙宁年间的旧事，认为父亲无端获罪，请求为父正名，此举招致朝中不快，被停官。