曾祖狄仁续，祖狄光友，父狄囗迈。

唐宪宗元和十二年（817年）进士及第，初在平定淮西藩镇叛乱的凤翔陇右节度使郑余庆和山南东道节度使孟简幕府中任职，为襄阳从事。

唐穆宗时(821—824年)，令狐楚执掌朝政，对狄兼谟颇为赏识，特荐授为左拾遗。左拾遗为谏官，狄兼谟在任内常上书议论国事，颇尽于职责，不久迁转右补阙，改侍御史，授奉天令。升任刑部郎中。

刑部任后，狄兼谟出任外官，先后为蕲、邓、郑三州刺史，所至颇有政绩。任内曾值岁旱，百姓饥馑，他及时发仓粟赈济难民，使辖区内的百姓没有迁徙流亡，后又改任苏州刺史，政绩考核为一等，并因此升任给事中。不久，狄兼谟迁升为御史中丞。御史中丞是御史台副职，但当时御史台未设正职，狄兼谟实为御史台长官，其职掌监察执法，权任很重。

当时，江西观察使吴士矩经常动用国库钱挥霍宴饮，有时一日之费至10余万钱。其初任时有库钱27万缗(1缗为1千钱），到任期末只剩下9万缗，致使军用匮乏，颇为人知晓。但朝臣中为他说好话的人多，唐文宗也不过分追查，但狄兼谟极力谏奏唐文宗，唐文宗听从狄兼谟议，严治吴士矩，流于端州(今广东肇庆市)。

御史中丞任后，狄兼谟又任过兵部侍郎、工部尚书、太原尹兼河东节度使、尚书左丞等重要职务。狄兼谟晚年还被朝廷任命为天平军节度使，但因病末赴任，而转迁东都秘书监，唐宣宗大中三年，他终死于东都留守任内。

夫人扶风郡夫人京兆韦氏，有子二人，长子狄咸中，次子狄祯前。