初为应天府庠生,监察御史彭勖每次巡历所至,就以倪谦的事迹激励诸生,于是到京师考试的人争相求识其面。
正统三年(1438),考中举人。
正统四年(1439),考中进士第一甲三人(探花),任翰林院编修,入阅中秘书。
正统十四年(1449),出使朝鲜。
景泰年间,直文华殿。明代宗选内侍中秀异者四五人,进学文华殿之侧室,由倪谦和吕原教导。明代宗亲自视察两人讲课,倪谦讲《国风》,吕原讲《尧典》。两人讲完后,明代宗问二人何官,取其牙牌视之,倪谦时任左中允兼侍读,吕原时任右中允兼侍讲,明代宗又问几品,两人皆回答正六品。明代宗说二官品同,安得相兼,于是命取官制视之,命二人以侍讲学士兼中允。明代宗走后,二人改坐于旁,明代宗再次前来,非常惊讶,二人对答:“君父所坐,臣子不敢当”,明代宗说:“如是乎”,从此到馆中不再坐下。
天顺初年,累迁至学士,教导明宪宗于东宫。
天顺三年(1459),主考顺天府乡试,黜免权臣之子,被人诬陷,谪戍开平。
明宪宗即位,诏复旧职。与他的儿子、编修倪岳同日奉命入史局,编修《明英宗实录》。历任礼部右侍郎、南京礼部右侍郎、南京礼部尚书。卒赠太子少保,谥文僖,葬于城南新亭乡。