年少而有才学，名声在当时非常好。年少时与从兄安丰王元延明、中山王元熙，并以皆为宗室而又博古文学而齐名，当时的人不能定他们优劣。尚书郎范阳卢道将在吏部清河崔休面前称赞元彧风流宽雅在两位从兄之上。

元彧要求恢复本身封地，皇帝亦下诏准许复封临淮，寄食相州魏郡。又长兼御史中尉。元彧以为因是皇亲而得到此地位，所以不谢。积累年资而被迁为侍中、卫将军、左光禄大夫，兼尚书左仆射。后以本官为东道行台。六镇之乱时期，元彧被命为征讨叛乱的主将，却被破六韩拔陵击败。

尔朱荣攻入洛阳，制造了“河阴之变”，杀害元氏皇族及大臣数千人。元彧遂奔梁朝，梁武帝遣通事舍人陈建孙迎接，并观察元彧的为人。陈建孙称元彧风神闲俊。梁武帝早前亦闻其名，非常器重他，接见元彧于乐游园，并设宴乐。元彧听闻乐曲声音歔欷，流了涕泪，梁武帝因此不乐。自前后奔叛，皆候旨称魏为伪，唯独元彧上表启奏时常仍以魏临淮王为号。梁武帝体会元彧的雅性，并没有责罚。后来，听闻敬宗孝庄帝元子攸践阼继位，元彧以母老请还，辞旨非常恳切。梁武帝怜惜其才能，又难违其意，遂遣其仆射徐勉私自劝元彧留下。但是，元彧去此坚决。梁武帝乃以厚礼遣回。元彧为人至孝，自己经历违离，又很久没有进食酒肉，以致其容貌非常憔悴。历位尚书令、大司马，兼录尚书。

后来，孝庄帝元子攸追封父亲武宣王元勰为文穆皇帝，庙号肃祖，母亲李妃为文穆皇后。将迁神主到太庙，以孝文帝为伯考。元彧表谏阻止。当时，孝庄帝心意坚决，朝臣无人敢上言，唯独元彧与吏部尚书李神俊上表劝阻。孝庄帝下诏，认为文穆皇帝恭上尊号，依循旧有模式进行，并无不妥。实际上，孝庄帝是受其诸位妹妹强逼请求。而且，黄门侍郎常景、中书侍郎邢子才对此事也赞成。不久，孝庄帝又追尊兄长彭城王元劭为孝宣皇帝。元彧再次面谏阻止此等前所未有的尊封。此次，元彧当面向孝庄帝直谏：“陛下将兄长追封为皇帝，这种做法完全不合道理，历代史书上也未有这样的事发生，希望陛下不要因为兄弟之情而违背法则。”被孝庄帝直接拒绝。

尔朱荣死后，元彧被任命为司徒。建明元年，尔朱兆率众杀至京城，元彧从东掖门逃亡，为尔朱兆部众所俘获。当拜见尔朱兆时，辞色不屈，被其兵士殴打致死。孝武帝末年，追赠元彧为使持节、侍中、太保、领太尉公、录尚书事，大将军、都督定相二州诸军事、定州刺史，王如故，谥号文穆。

元彧俊美而有风韵，衣冠高雅，又博览群书，所以元彧的文藻，虽然已多数失传，仍有当世的文献流传。然而元彧居官时不能清白，所进举止于姻亲，为有识之士所讥讽。无子，由其弟元孝友袭封临淮王。