1919年,黄纲存出生在夏津县城西郑保屯一个贫穷的家庭。他从小就非常聪明,特别喜欢读书。但因为家庭实在困难,黄纲存只能在家里干活,干完活后偷偷地学习。然而,一家人的生活负担,迫使小小的黄纲存放下书本外出干活。在他15岁的时候,他去了天津做起学徒工。没过多久,国民党军队来村里抓壮丁,黄纲存的叔叔那年18岁,正好到了入伍的年龄,被强制入伍。奶奶知道黄纲存的叔叔身体从小虚弱,又经常生病,心疼他去打仗会受不了。此时,在天津的黄纲存非常懂事,听说这事后便主动要求替叔叔参军入伍。虽然当时他并不清楚加入国民党意味着什么。