东汉初年，由于经历了长期战乱，“百姓虚耗、十有二存”，边境地区更是“靡有孑遗”，人口锐减，社会经济遭到严重的破坏。为了稳定封建统治秩序，恢复社会生产，刘秀决定“省兵减政”，对地方郡国兵进行了大规模的裁撤。其主要措施有:建武六年(公元30年)，省郡国专职武官一-都尉，并其职权于郡太守或相国，同时取消地方都试，郡国兵每年秋后不再进行军事演习;建武七年(公元31年)，罢郡国轻车、骑士、材官、楼船士等一常备军，士兵全部复员还乡，彻底取消了西汉正卒制度;建武二十二年(公元46年)，又“罢诸边郡亭候吏卒”，完全取消了西汉的戍卒制度。

        对地方郡国兵制的这种改革，不仅节约了国家庞大的军费支出，大大减轻了人民的军赋负担，而且也使东汉的兵力分布形成了“居重驭轻”的局面，地方无法反叛中央。但是随之也出现了一系列新的问题，如都尉一职罢省后，郡太守再无互相牵制的对立面，从此独揽一郡的军政大权，极易造成割据势力的出现;取消地方都试，虽减轻了服役士卒的负担，但是也降低了军队素质，造成军队战斗力差;取消正卒、戍卒制度，使郡国无常设之兵，一旦有警，无法迅速征集军队，而边境无当番守望之戍卒，一旦外敌入侵，也难以组织迅速有效的抵御。为了弥补罢省郡国兵的缺陷，光武帝以后诸帝又采取了一些临时性措施，主要有:第一、在各战略要地设置长期屯兵，以代替从前番上的正卒。这种长期屯兵有:黎阳营，光武时置于黄河北岸的黎阳(今河南浚县东)，屯驻千人，以谒者领之，作为京师洛阳的屏障度辽营，明帝时为隔绝南北匈奴，置于五原曼柏(今内蒙古东胜东北);象林营，和帝时为镇压南蛮，置于象林(今越南顺化);长安营、雍营，安帝时，西羌暴动,危及三辅，为此设长安营驻守长安，雍营守备三辅，屯兵于雍(今陕西凤翔);渔阳营，安帝时鲜卑犯居庸，设渔阳营以拒之扶黎营，安帝时置于辽东属国之扶黎(今辽宁义县东)。以后顺帝时海上人民暴动，东汉政府不得不加强沿海地区的守备兵力。西羌暴动，东汉政府又于魏郡、赵国、常山、中山设置616坞，河南通谷冲要33坞，扶风、汉阳、陇道300坞，派兵分驻。如此，各地屯兵大增，军费开支巨大，甚至超过了西汉郡国常备军的军费开支，与刘秀“省兵减政”的初衷适得其反。第二、发弛刑罪徒赴边戍守，以代替以前的边防戍卒。明帝以后，东汉边境多警，历届皇帝多次下诏发弛刑徒赴边戍守，有时甚至命刑徒携全家同往边境。徙边者皆由国家供给弓弩衣粮。第三利用匈奴兵守边。此举始于光武帝刘秀时。建武二十四年(公元48年)，头曼单于十八代孙、呼韩邪单于之孙比被南匈奴八部大人拥立为南单于，仍号呼韩邪单于，“以其大父尝依汉得安”，故而袭其名号，并请求内附，“愿永为蕃蔽，扦御北房”。刘秀从五官中郎将耿国之议，同意其请。二十六年，“诏单于徙居西河美稷”，“南单于既居西河，亦列置诸部王，助为扦戍。使韩氏骨都侯屯北地，右贤王屯朔方，当于骨都侯屯五原，呼衍骨都侯屯云中，郎氏骨都侯屯定襄，左南将军屯雁门，栗籍骨都侯屯代郡，皆领部众为郡县侦罗耳目”田。