东、西魏并立的局面形成后,樊逊的家乡被西魏军队攻破,他随东魏官守东撤,寓居于邺城。北齐建立后,他又到临漳县当了小吏。临漳县令裴鉴清苦俭约,偶有白雀集于县衙,当地人认为是裴鉴俭约带来的祥瑞,便纷纷称颂。樊逊也乘这个机会,写了十来首诗称颂裴鉴的清德。裴鉴看了后,十分赏识他的才华,便任他为县主簿,掌管文书。随后,又经裴鉴的推荐,披右仆射崔暹收为宾客,与当时的文士李广、封孝惔等人一起,讲论文章。樊逊象貌丑陋,又常为门第所限,独处静默,常以东方朔“陆沉世俗,避世金马”之语安慰自己。曾仿照东方朔的《答客难》写过一篇《答客诲》的文章,用以抒写自己的心志。他在崔暹府上做宾客时,有一次崔暹大会宾客,有大司马、襄城王元旭在座,论及任用府僚的事,崔暹欲将樊逊推荐于元旭,便指着樊逊说:“此人学富才高,是很好的军事参谋。”元旭看看樊逊的长相,不屑地反问道:“这个样子,岂能当军事参谋?”面对元旭颐指气使的态度,樊逊很恭敬然而又很刻薄地说:“家无荫第,不敢当此。”