高祖父：黄润，清朝商人

高祖母：钟氏，进士钟锠的孙女

曾祖父：黄学诗

曾祖母：李氏，翰林李象元的后裔

祖父：黄际升

祖母：梁氏，解元梁念祖的孙女

伯父：黄鸿藻、黄鸾藻

父亲：黄翰藻

堂伯：黄基

堂兄：黄遵宪 、黄遵楷

堂弟：黄遵庚

妻子：张素珍

侄女：黄春英，梅州女子师范学校首任校长

黄遵涛府上是名门望族，其父黄翰藻是清朝国子监典籍，伯父黄鸿藻（黄遵宪的父亲）为广西思恩知府，黄遵涛是黄遵宪堂弟，同为祖父黄际升名下的孙辈手足。黄遵涛与张其䎖孙女张素珍婚后恩爱有加，抚育三男三女。三男中，仅存黄子敏。黄遵涛中年不幸染目疾失明，家庭生活负担全落在张素珍一人肩上。解放前，其孙黄延达（字仲江）是国军炮兵营长，随军前往台湾。

下市禄善堂黄氏仅十九世至廿三世有科名官职的人物151人，其中文进士一名（黄基），文举人九名（黄际虞、黄鸿藻、黄鸾藻、黄遵宪、黄遵楷、黄大鹏、黄俊、黄敬元、黄腾骧）。光“五代同堂”世家出了18位诗人。