潘正炜祖籍漳州,是广州十三行外贸行商潘家第三代继业者。祖父潘振承,早年出洋,善商,熟英语,在广州十三行获得“旨准”开设同文洋行,包揽丝茶经营商务。父亲潘有度,继承祖业主理同文洋行。
潘正炜继承两代家业后,来华外商尊为潘启官三世,呼名Puankhequa Ⅲ。据《法国杂志》一则广州通讯报导:正炜当年家财约值1万万法郎(另有华北资产未计),故在道光年间,仍在广州豪商绅士群中居首领地位。
潘正炜既出身于富豪的外贸之家,又成长于书香世代的科第名门;伯父潘有为是乾隆年进士,官至内阁中书,参事校勘《四库全书》,珍藏历代古钱、古印、书画、彝鼎甚丰。长兄潘正享,乾隆年贡生,以善书而工诗著名。潘正炜得自家风的陶冶,自幼勤学善书,崇尚苏(东坡)、米(芾)笔法,精小楷,亦中副榜贡生。在洋务之暇,他嗜好书画、碑贴的收藏与鉴裁。收藏之宏富,誉为“甲于粤东”。其第四子顺徵是国学生,善画梅花。孙子宝鋆、宝琳二人亦登进士。由于家中子孙俱能科举成才,潘正炜也叠领奉政大夫、荣禄大夫、翰林院编修等荣衔,为羊城罕有的科第名家。
潘正炜一家先后以同文行、同孚行名义周济贫困和报效朝廷出资白银达百余万两。鸦片战争时,他为抗外敌、保家乡,于道光二十二年(1842),资助抗英军饷26万元,为广州资助总额200万元的1/8;又响应抗英官府扩建海军的号召,独购吕宋(菲律宾)战船一艘,捐作加强广州海防之用。随后英人还多次寻衅迁入广州城内居住,要霸占河南洲头咀为租界,他又毅然领衔与同县许祥光、南海伍崇曜等人联合河南及城郊48乡士绅百姓群起抵抗。当时群情汹涌,声势浩大,逼使英人终以民情可畏,不敢进城。他虽然家业经受战乱而惨受损失,仍不惜出钱出力为抗御外敌入侵作出贡献,故赢得史册给以“道光毁家纾难”的赞扬,得赏戴花翎。