明朝建立之前，朱元璋沿用元朝的军事制度，在攻克集庆(今南京)后，就设立了行枢密院，又设置了各个翼统军元帅府。不久，朱元璋就撤销了行枢密院，改设大都督府。大都督府一直延续到洪武十三年，在撤销中书省的同时，大都督府也被改为五军都督府，兵权也随之分散。大都督府及后来的中、左、右、前、后五军都督府是全国最高的军事统帅机关，其所统辖的，是各地方的都司、卫所。明朝建立后，朱元璋在全国各要害之处设立卫所，若干卫所上辖于都指挥使司，为一省之军事机构，各都司分别辖于不同的都督府。但大都督府后来仅成为形式上的最高统帅机构，其权力渐渐被兵部取代。军务的管理，武职人员的任命都要由兵部批准。只是各省各镇的总兵官、副总兵都由左右都督、都督同知、都督佥事和公、侯、伯充任。但是，他们只是在有重大军事活动时被授给大将军、前将军、副将军等印，带兵出征。军事活动一结束，便交还印信，所带兵马也各自回到卫所。各个都督府的都督、都督同知等官大多由公、侯、伯担任，偶尔也任用老将，都是带有荣誉性的职务。

        卫与所是明代兵制的一个创造。明朝最初的兵来源有三个途径，一是从征，即跟随朱元璋起兵征战的;二是归附，即归降的被征讨之兵;三是谪发，即有罪臣民被判罪充军的。这些军丁一旦成为军人后，便不可随便改变身份，世代为军，称做军户。当兵成了军户的专职，兵士死后其家人后代则要有顶替，如若逃脱缺额，官府则要百般勾取。军人编入各个卫所，其家属也随军人居住，每个军人都拥有一份土地，根据当地军事活动的多少，他们轮番战守或耕种。这是另一种形式的寓兵于农，有曹魏时期的世兵制之遗意，但它的直接来源，应当是元朝的军户制。军户所种之田，称为军屯，军屯解决了很大一部分军饷。然而由于明朝军额庞大(约270余万人)，军事活动频繁，民间仍需负担大量军饷，特别是战争时期，比如明成祖北征，转饷遍于天下。卫所分布于各地，所辖之地凡与府州县相同，这又与宋朝的屯驻军有类似之处。卫所军除了担任地方戍守外，还有轮番到京师操练的任务，称为班军番上。番上的班军，在京师编入三大营。所谓三大营，指五军营、三千营、神机营，称为京营。三大营是作战时的编制，后因战事少，设武臣一人总理营政，称总督京营戎政，开设戎政府。