黄遵楷迫于生计却在山东烟台潮州会馆当师爷。期间,他担任了《时务报》在山东的代理发行人,为传播维新思想起了积极的作用。光绪二十四年三月二十七日,黄遵楷加入了康有为发起组织的 “保国会”,成为京城“保国会”一百八十六人之一。
黄遵楷还与邱逢甲、郑观应等同为上海“不缠足会”董事,为妇女的解放奔走。为打破锁在妇女身上的第一道沉重枷锁,他们勇为天下先。光绪二十四年,黄遵楷赴京会试,虽未及第,却大挑为一等,引见时选为福建补用知县。在京逗留期间,黄遵楷结识了康有为、梁启超、曾重伯、陈次亮、袁爽秋等变法和开明人士。
在此期间,黄遵楷也曾先后两度上书光绪皇帝,鼓吹改革封建旧官制,实施维新变法。维新变法失败后,黄遵楷因此受到顽固派的参劾。光绪二十四年八月二十二日福建道监察御史黄桂鋆就这样参劾他:“同恶相济,结为死党,如黄遵宪、熊希龄、徐勤、黄遵楷、韩文举等……。” 大挑三年之后,黄遵楷才得分发到福建任职海疆防卫。任职厦门海防同知期间,民众不满列强欺凌,抵制美货高潮迭起,美国领事为此多方恣事。如借口美领事馆旗杆下出现粪便,有辱于美方国格之嫌,要求地方政府鸣炮赔礼。那时,清廷的确腐败无能,在“洋大人”面前奴颜婢膝,并准备一味礼赔了事。
新进微员黄遵楷却不吃这一套,虽然中央部电已到,却不为所动,挺身而出为坚持正义据理力争,断然拒绝了美领事的无理要求,捍卫了民族的尊严和国家的主权。
在任职三都海防同知期间,黄遵楷为保卫祖国海疆详细考察了三都周围环境,发现三沙湾地处战略要冲,不可无所戒备。于是进行实地勘测,绘制战略形势图,向上司指陈利害,并力请当局立将三沙湾辟为军用港口,以粉碎外国列强觊觎之心。