1973年10月，何正文奉命到人民解放军总参谋部帮助工作。1974年11月，他被中央军委任命为人民解放军副总参谋长。由于林彪、“四人帮”的干扰和破坏，部队的作风和纪律严重存在着松散问题。1975年11月，在李达副总长的倡议下，总参谋部举办了由全军各大单位参谋长参加的教导队，何正文任队长，孙毅任顾问。在集训中，他认真贯彻邓小平从严治军的思想，一切按条令办事，不论职务多高，都一律过严格的战士生活。他不仅亲自动员，亲自上课，还带头执行条令条例和规章制度，带头以普通一兵的身份严格要求自己。这次集训，统一了全军各级领导机关加强部队正规化建设的指导思想，明确了全军部队、机关、院校的一日生活制度和作风纪律检查、考核标准，使军队的正规化建设有了一个新的起色。1979年前，他主要负责全军的军事训练、防化部队建设和外事活动；1980年后，他主要负责全军的体制编制、武器装备、正规化建设和民兵、预备役部队的建设。在何正文的具体指导和帮助下，组建了我国第一批预备役师。他根据新时期兵役工作的特点，组织领导了《兵役法》的修改工作，在充分调查、研究的基础上，经过四年的艰苦工作，完成了《兵役法》的修订工作，并上报国务院、中央军委批准，经第六届全国人民代表大会第二次会议一致通过，于1985年1月1日正式颁发实行，进一步完善了国家和军队的法制建设。