黄永淮，号泗光，别名黄石夫，因小时候患过天花，脸上留有疤痕，又被家乡人叫做“黄麻子”。1902年，黄永淮出生于四川省内江市安岳县龙台乡的一户农民家庭。

黄永淮父亲黄慎之，虽家境贫寒，但甚有德行，宗望所归，被族人推举为“龙台黄氏同宗会”的族长。

黄永淮幼时在龙台乡小学念书，后来升入安岳县旧制中学学习。在学校他学习刻苦，思想进步。1925年黄永淮中学毕业，时值国共第一次合作时期，他满怀爱国热情，立志以身报国。1926年在族人黄爵高等人的资助下，考入黄埔军校第五期。

1928年，黄永淮以优异的成绩在黄埔军校毕业，被分配到南京国民政府警卫团（团长先为杜从戎，后为俞济时）任见习排长。1929年，警卫团扩编为警卫第1旅，黄勇淮升任连长。1930年黄勇淮随部队到河南参加了中原大战。战后警卫旅仍驻防南京，被扩编为国民政府警卫军第2师。部队采用全德制军械装备，武器精良，训练有素，是拱卫首都的劲旅。1931年12月，警卫第二师改编为第88师（师长俞济时）黄永淮仍任连长。1932年，“一二八”事变爆发，第88师官兵主动请缨抗战。2月5日，部队奉命归第19路军指挥，7日全部集结上海南翔。2月14日，第88师隶属第5军。黄永淮随部队参加了淞沪抗战。在战斗中他英勇杀敌，战功卓著。1933年，黄永淮升任第88师第262旅第524团第3营营长。1934年他再次被提拔为第524团团附。1935年，国民政府重新评定军衔，黄永淮被授予中校军衔。

踏平三岛方雪恨，罢官归耕夙愿成

1937年8月13日，淞沪会战爆发，日本侵略军大举进攻上海，第88师首先进入阵地与日军激战。黄永淮曾赋写：“踏平三岛方雪恨，罢官归耕夙愿成”的诗句以铭志。在战斗中，他身先士卒，冲锋陷阵，奋力拼搏。10月下旬，在中国军队撤退前，蒋介石要第88师留下第一部分部队坚守闸北、四行仓库。第88师师长孙元良准备派黄永淮带领部队组成“八百壮士”守之。岂料此时黄永淮却在一线指挥作战时被一粒子弹从左眼角斜穿射入，顿时身负重伤，血流如注。他只得被送入德国人开办的宝降医院抢救，遗职由第262旅中校参谋主任谢晋元继任。谢晋元到任后立即率部进驻四行仓库，成为了名扬中外的民族英雄。如同现居台湾的抗战老兵黄润生所言：“团附谢晋元率领该批战士进入四行仓库，成为历史上名人，而黄副团长（应为团附-笔者注）永淮虽在许昌壮烈殉国，反默默无闻。人之有幸与不幸，实在太微妙了”。

黄永淮伤愈后，到重庆受同乡李如苍（陆军大学第七期毕业，时任中央训练团兵役干部训练班主任）邀请，任训练班教育长。

1942年，河南周家口地区（今周口市）警备司令吕公良（浙江开化县人，黄埔军校第六期生）奉命以周家口警卫团为主力。组建了新编第29师。该师是由地方武装改编而成，急需补充各级干部。于是，黄永淮调任新编29师副师长。据原新编第29师健在营长李树森，连长张访朋回忆，黄永淮副师长生活简，治兵极严，平时练兵有术，是吕公良师长的得力助手。黄永淮原先患有咯血症，由于平时劳累过度，旧病复发，曾一度回家乡休养。

豫中会战前，黄永淮主动请缨抗战，回到部队协助吕公良师长练兵备战。1944年3月，第1战区长官司令部奉蒋介石的命令，派第28集团军暂编第15军新编第29师固守许昌。