西山阮氏三兄弟的四世祖本姓胡,与越南胡朝皇帝胡季犛是同宗(日后之所以改姓阮,据陈仲金所说,由于这是母亲的姓氏。而更重要的,是当时南方统治者为阮氏,使用这个姓氏较易取得人心),原居于北方郑主势力范围下的乂安省兴元县,在郑主与阮主交战当中,被阮主军俘虏,并遣送至归仁府西山邑居住。到阮岳的父亲胡丕福时,迁居于坚城邑(今绥远县富乐村)。
据学者郭振铎、张笑梅的考证,阮岳的先世曾被旧阮朝廷委任为“西山寨主”,阮岳就曾继承这个职位,因此说阮氏兄弟并非一般农民家世,而是西山邑里的一个“下层封建主小康之家”。
他的父亲胡丕福,曾向儒者焦献(原姓张)学习。焦献因受到阮廷权臣张福峦的迫害而逃亡,遇上胡丕福后,认为其子阮岳、阮惠具备天才,便激励他们对抗旧阮。