司马遵之父司马晞因有军事才干,故受大司马桓温所忌,咸安元年(371年)桓温诬其谋反。晋简文帝逼于无奈,废其为庶人,流放到新安郡。
司马晞于太元六年(381年)去世,时桓温已死,晋孝武帝追封他为新宁郡王。因司马晞长子已去世,次子出继梁王司马翘,因此由三子司马遵承袭爵位。当时司马遵哭着受爵,感动左右。太元十二年(387年),晋孝武帝恢复武陵王爵位。
司马遵历任散骑常侍、秘书监、太常、中领军。桓玄专权时又以他为金紫光禄大夫。元兴二年(403年),桓玄篡位建立桓楚政权,司马遵被贬为彭泽县侯。
次年刘裕率义兵攻下建康(今江苏南京),并声称受晋安帝密诏,以司马遵承制总百官,加侍中、大将军。义熙元年(405年),晋安帝回建康复位,以司马遵为太保,加班剑武士二十人。
义熙四年(408年),司马遵去世,享年三十五岁,朝廷追赠太傅,谥忠敬,赠以殊礼。子司马季度袭爵。
司马遵年少时就已很聪慧,其父因桓温被贬,司马遵虽然在事后才出生,但他知道原委后很憎恨桓氏人物。一次,出身谯国铚县桓氏的桓伊去拜谒司马遵,司马遵听到通报后就说:“守门的为何为姓桓的通传?”身边的人说:“桓伊和桓温(出身谯国龙亢)疏远,见面并没所谓。”司马遵却说:“我听见有人的姓是木字偏旁就想杀了他,何况一众姓桓的?”
房玄龄等《晋书》:“少称聪慧。”
《晋书》司马遵传:忠敬王遵,字茂远。初袭封新宁,时年十二,受拜流涕,哀感左右。右将军桓伊尝诣遵,遵曰:“门何为通桓氏?”左右曰:“伊与桓温疏宗,相见无嫌。”遵曰:“我闻人姓木边,便欲杀之,况诸桓乎!”由是少称聪慧。及晞追复封武陵王,以遵嗣,历位散骑常侍、秘书监、太常、中领军。桓玄用事,拜金紫光禄大夫。玄篡,贬为彭泽侯,遣之国。行次石头,夜涛水入淮,船破,未得发。会义旗兴,复还国第。朝廷称受密诏,使遵总摄万机,加侍中、大将军,移入东宫,内外毕敬。迁转百官,称制书;又教称令书。安帝反正,更拜太保,加班剑二十人。义熙四年薨,时年三十五,诏赐东园温明神器,朝服一具,衣一袭,钱百万,布千匹,策赠太传,葬加殊礼。子定王季度立,拜散骑侍郎。薨,子球之立。宋兴,国除。