尔朱彦伯个性和厚,释褐奉朝请,累迁奉车都尉,为荣府长史。长广王元晔立,以为侍中。前废帝潜默龙花佛寺,敦喻往来,尤有勤款。前废帝既立,尔朱兆以己不预谋,大为忿恚,将攻尔朱世隆。诏令华山郡王元鸷兼尚书左仆射、北道大使慰喻尔朱兆,尔朱兆犹不释。尔朱世隆复遣尔朱彦伯自往喻之,尔朱兆乃止。及还,前废帝宴尔朱彦伯于显阳殿。时侍中源子恭、黄门郎窦瑗并侍坐,尔朱彦伯说:"源侍中彼时为都督,与臣相持于河内郡。当尔之时,旗鼓相望,眇如天隔。宁期同事陛下今日之欢也。"源子恭:"蒯通有言,犬吠非其主。他日之事永安(元子攸),犹今日之事陛下耳。"帝曰:"源侍中可谓有射钩之心也。"遂令二人极醉而罢。寻除使持节、骠骑大将军、右光禄大夫、马场大都督,封博陵郡开国公,后进爵为王,又迁司徒。于时炎旱,有劝尔朱彦伯解司徒者,乃上表逊位,优诏许之。俄除仪同三司、侍中。尔朱彦伯于兄弟之中,从无过患。
尔朱天光等败于韩陵,尔朱彦伯欲领兵屯河桥以为声势,尔朱世隆不从。及张劝等掩袭尔朱世隆,尔朱彦伯时在禁直从。长孙稚等于神虎门启陈齐献武王高欢。义功既振,将除尔朱氏。前废帝令舍人郭崇报彦伯知。尔朱彦伯狼狈出走,为斛斯椿所执。寻与尔朱世隆同斩于阊阖门外,悬首于门树,传首于齐献武王高欢。