仕晋时期

初以父亲的功劳封宜阳县开国侯，历次升迁，官拜辅国将军、吴国内史。隆安三年（399年），孙恩率众进攻下会稽，并杀太守王凝之，三吴诸郡都有人起兵响应孙恩，桓谦闻乱出奔无锡（今江苏无锡）。后桓谦获征召，入朝担任尚书，不久又先后转任骠骑大将军司马元显的咨议参军及司马。

元兴元年（402年），司马元显要讨伐荆州刺史桓玄，司马元显心腹张法顺认为桓谦是桓玄在朝中的的耳目，应该除去，又建议命令刘牢之去下手，以测试其忠心。但司马元显不听从，反而想借助桓谦父桓冲在荆州的威望去安抚荆州人众，于是调桓谦为都督荆益宁梁四州诸军事、西中郎将、荆州刺史。

桓楚重臣

同年，桓玄消灭司马道子、司马元显势力，掌握朝政，就以桓谦为尚书左仆射，领吏部尚书，加中军将军，甚得倚仗。后改封宁都侯，升任尚书令，加散骑常侍，不久再迁任侍中、卫将军、开府、录尚书事。元兴二年（403年），桓玄篡位称帝，桓谦加领扬州刺史，封新安郡王。 

元兴三年（404年），刘裕起兵讨伐桓玄，并进攻建康，桓玄于是命桓谦与何澹之出屯东陵（今南京九华山东北），与屯于覆舟山西的卞范之一同抵御刘裕。但因桓谦等军主要也是北府军出身，面对北府军将领出身的刘裕并没斗志，于是桓谦等大败，及后随桓玄西奔江陵（今湖北荆州市）。 

继续抗晋

同年五月，桓玄败亡，江陵亦被晋军收复，桓谦藏匿在沮中。不久桓振袭取江陵，桓谦亦召集部众响应，至闰五月己丑日（6月26日）重夺江陵，并俘掳仍在江陵的晋安帝。当时桓振打算杀害晋安帝，在桓谦竭力劝止下，终保存了晋安帝的性命，又与江陵群臣奉还玉玺给晋安帝。桓谦于是复任侍中、卫将军，加江、豫二州刺史。桓振夺江陵后纵情酒色，肆意诛杀，当时桓谦劝桓振率兵出战，自己留守江陵，但因桓振向来轻视桓谦而没有听从。 

义熙元年（405年），晋军反攻江陵，桓振留桓谦及冯该守江陵，亲自率兵进攻南阳太守鲁宗之，但当时刘毅已于江陵城外二十里的豫章口击败冯该，桓谦于是弃城出逃，刘毅于是成功收复江陵，桓振见此亦自溃。桓谦与桓怡、桓蔚、何澹之及温楷等人于是投奔后秦。 

义熙三年（407年），西蜀君主谯纵向后秦称藩，后更上表以讨伐刘裕为名向后秦借兵，又求后秦派桓谦入蜀协助。当时后秦天王姚兴就特别问桓谦意见，桓谦也同意入蜀，然而姚兴却说：“小水池容不下大鱼，若果谯纵他凭自己力量可成事，也就不必请你去协助他了。你最好还是自求多福吧。”桓谦到成都后虚心招引蜀地士人，终惹来谯纵怀疑，安置他于龙格（今四川双流县），并命人监视他。

义熙六年（410年），当时东晋正在镇压卢循的叛乱，谯纵于是趁机向后秦请兵进伐东晋，桓谦于是获谯纵任命为荆州刺史，与谯道福共率二万进攻东晋荆州。桓谦在道上招集当地支持桓氏的民众，又招得了二万人，并屯驻于枝江（今湖北枝江西南），一度威胁江陵，江陵人民甚至向桓谦报告城内状况。东晋荆州刺史刘道规决定水陆并进，进攻桓谦；桓谦亦以水军配以步骑兵与刘道规决战，但桓谦最终战败，想要投靠前来助攻的后秦前将军苟林，但被追击的刘道规所杀。