隋灭陈之前，又出现了乡兵。乡兵是以乡里的大族及其笼络、胁持下的宾客、农民组成的，既具乡土色彩，又有宗族色彩。这些乡兵流动于北自淮阴，南至广陵的战争冲要地带，其活动的时间在北周平北齐到隋平陈这段时期。领兵的军将都是地方雄豪。对这些乡兵，隋文帝采取了将乡兵纳入府兵系统，进而逐渐使它由地方部队变为中央直属部队的措施。这些乡兵首领被任命为大都督、仪同、车骑将军、骠骑将军，成了府兵系统中的将帅。乡兵纳入府兵系统后，将帅中的雄豪，虽在乡里有其势力，但在一定条件下却倾向于统一的皇朝。当然，隋初的整顿乡兵仍属局部的短时间的措施，宇文泰时期的乡兵也仍大量存在着，私兵势力的彻底消除，尚有待时日。隋代府兵仍然带有宗族和部曲的色彩，如蒲州还有所谓“宗团骠骑”。

         3、军户入籍

         隋以前的府兵，军士与其家属有单独的军籍，与地方政府无关，他们是世袭的职业军人。军人军户集中居住在军府所在的军坊、乡团，随时调动，居无定处。隋统一中国以后，战争大为减少，不再需要这样一支既有军士，又有其家属及军户的庞大队伍。同时，为了加强政府对民户的控制，有必要将家属、军户纳入政府统一管理。虽然如此，又不能解散军队或大幅度裁减军队。于是在开皇十年(公元590年)，将军人编入民籍，使兵民合一，解决了上述问题。

         军人编入民户后，“垦田籍帐，一与民同”，军人可按均田法令分到自己的一份耕地，并可免除租庸调的负担。但军人的资粮需其自己负担，平时无战事或轮不到自己上番宿卫时，就在家务农，有事则应召出征。府兵是终身兵役，一旦被征入伍，即须到60岁时才可退伍。兵源也由军户承担改为从民户中简点。