1870年8月，山县有朋结束考察，经美国回国后任兵部少辅。翌年，升任兵部大辅，以后又升任陆军大辅、陆军卿等职，掌握着明治政府军队的大权，这为他进行军事改革提供了有利条件。
山县有朋在军事改革中，认真吸取西方国家的经验，博采众长。从1870年起，统一日本军制，全国陆军采用法国式的，海军采用英国式的体制。1871年，组建第一支具有近代意义的由明治政府亲自指挥调动的“御亲兵”（近卫军），同年还颁布军人“读法”七条；1872年，废除兵部省，按照欧美强国陆海军分离的方式，分别成立了陆军省和海军省。在山县有朋的主张下，颁布了《征兵令》，从根本上废除了封建军制，建立了近代军制。1873年，又改革军事教育，制定了《兵学察规则》，培养军事人才；建立陆军省管理的各级军事机构，于1871年在全国设置东京、大阪、镇西、东北四镇台（相当于今天的军区）；1873年，又把原来的四镇台扩大为六个军管区。