王遵业,字遵业,太原晋阳(今山西省太原市)人。祖父王慧龙,北魏时曾任龙骧将军,父亲王琼任北魏中书令。出生于封建官僚之家的王遵业,从小受儒家传统教育,成年以后,仪表清秀,擅长经史,闻名于世。进入朝中,初任著作佐郎,与司徒左长史、史学家崔鸿同修《起居注》。
北魏正光二年(521年),升为右军将军、散骑常侍。受北魏宣武帝之托,出使漠北,慰劳分布柔然部落。首领阿那瑰亲自出迎王遵业,授赐送慰劳之礼。王遵业南还后,受诏进入代京(今山西大同),搜集北魏孝文帝在代京时的活动材料,增订《起居注》。不久,联合崔光,元延明等仪定服章,同崔光一起给孝明帝讲解《孝经》。每次讲解均由王遵业预进。王遵业以文采誉满京城,应诏作《释奠侍宴诗》。
北魏孝昌元年(525年),转任司徒左长史、黄门郎,负责监典修仪注。王遵业在朝中名望很高,与中书令袁翻,尚书王诵共同执领黄门郎,被时人誉称“三哲”。武泰元年,遇害于河阴之变。