朱元璋深知军队就是自己政治事业的坚实支柱，军队可以帮他打下，也可以帮他看守天下，没有军队，旧王朝是不可能被推翻的，自己的政敌也不可能被消灭，新王朝就会被风起云涌的农民起义所吞没。
如果没有强大的军队做后盾，起到保驾护航的作用，那是断然行不通的，因此朱元璋十分重视军队的建设。
就要按照军队的纪律来对其进行约束与要求，必须要培养出一支能够打仗并且能够打胜仗的军队，否则要一帮庄稼汉来是不可能自立于群雄、自立于天下的。
朱元璋重视军队的纪律，他在检阅新军时，特别指出了这一点。朱元璋恳切地劝诫将士们说：“你们原来是很大的部队，可是我毫不费事就收编了你们，原因在哪里呢?一是将官没有纪律，二是士卒缺乏训练。现在我们必须要有严格的纪律，进行严格的训练，才能够建功立业。”
尤其重视军风、军纪和军队的素质方面的建设。在攻下大都之后，他对军队的建设提出了更高的要求。
朱元璋认为创建一个新的王朝需要一支强大的军队，而夺取了天下之后，仍然需要一支强大的军队来进行保卫，只有这样才会使内外的敌人没有可乘之机。无论是战时还是和平时期，军队担负的主要职责基本上都是相同的，为此他一再告诫各部队将领：有备无患，不论和平时期还是战时，都要随时准备迎击敌人。
对军事机构的改革与调整，也是加强中央集权体制的一项重要组成部分。朱元璋登基后觉得大都督府的权力太大，在废除中书省的同时，他又采取了分权制衡的办法，把大都督府分成中、左、右、前、后等五军都督府。其长官为左右都督，分别管理京师及各地的卫所和都指挥使司。
在于化整为零，分散中央军事机关的权力，使军队的权力归皇帝直接掌握。为使五军都督府和兵部能够互相牵制，朱元璋规定，五军都督府对军队无调遣权，只是负责各都司卫所军队的管理和训练，军队的调遣属于兵部。遇有战事，由皇帝亲自派遣带兵的将领，战事结束后，将帅回朝复命，军队返回卫所。这样的好处是使将不专兵，兵不专将，以避免将帅拥兵自立，从而威胁了朝廷。
将武装力量和生产力量结合起来，这样既可以灵活指挥，又可以避免财政上出现过重的负担。
它是明代独有的军事管理制度。在明朝时，军人有特殊的社会身份。在明代户籍中，军籍、民籍和匠籍是主要的户口。军籍属于部督府，军人不受普通地方行政官吏的管辖，在身份上、法律上、经济上的地位，也都是和民户不同的，军和民是截然分开的。
顾名思义，卫所是由卫和所组成的。卫即卫指挥使司，所即千户所、百户所。在建制方面，如果是单一的一个郡，就设所，两个郡在一起相连则设卫。卫所是一个个或大或小的管理基层部队的机关，就相当于现在的连、团、旅、师的建制。这种严密的体制在历史上无疑是个首创。在现实中，管理效果也是非常的好。
卫所的兵源有四种：一种是从征，即起事时所指挥的部队;一种是归附，包括削平群雄所得的部队和元朝投降的军队;一种是摘发，指因犯罪被罚充军的，也叫作思军，这种人在军队中是没有地位的;一种叫探集，即征兵，是按人口比例进行的，一家有五丁或三丁出一丁为军。前两种是原有的武装力量，而后两者则是补充的武力，特别是探集军在数量上占了很大的比例。这四种来源的军人都是世袭的，为了保障固定的军人数量，法律规定军人必须娶妻，世代继承下去，如无子孙继承，则由其原籍家属中抽壮丁进行顶补。
明代的卫所大都分布在边地和各省内，卫和所都有固定军士人数，其下面还有总旗和小旗，军士数也固定。
大体上是五千六百人为一卫，长官是指挥使。卫又分五个千户所，一千一百二十人为一千户所，长官被称为千户，千户所下分有十个百户所，每百户所有一百二十人，长官被称为百户。所辖总旗二，小旗十，一个总旗领五个小旗，小旗有军士十人。
借此制度使军队兵源得到了充分保障。
国家政权在统一的基础上也显得更为牢固了。因此，朱元璋的一系列改革，是一个历史性的进步。重要的是统治全国的官僚机构更具有权威性，也更加集中、完备了，这也是史无前例的创举。