为了巩固封建统治，西汉建立了比秦朝更为完备的武装力量。西汉前期是实行征兵制，以正卒两支来守卫京师。一支为南军，守卫宫城，归卫尉率领；另一支为北军，保卫京师，归中尉率领。两支各有两万人。武帝时，各减至一万人。正卒一年一轮换，不利于保卫京师。武帝着手组建职业兵为侍从军和禁卫军。
中央军
中央军，即西汉的禁卫军，主要卫戍于都城长安的部队，是西汉军队的核心部分，最为精锐。根据其驻扎位置分为南军、北军两大部分，又有侍从郎卫隶属于南军，但又直接受命于皇帝，分置于外，共三大部分。
南军
京师有南、北军之屯《汉旧仪》：“殿外门署卫尉，殿内郎署，属光禄动，南军也”，由此可见，南军主管禁卫宫内之事。卫尉掌握宫城门内的军队《百官表》：“卫尉掌宫门卫屯兵。”
南军是守卫皇宫的禁卫军队，因驻扎于长安南的皇宫之内而得名南军。它有两大部分构成，一部分是由卫尉统领的卫兵，负责守卫宫殿的外围；一部是由郎中令统领的卫郎，负责宫中禁卫以及宫内的巡察。二者互不统属，郎中令统率的卫郎即所谓的侍从郎卫。南军指挥部设于宫墙之内，卫士分沿宫墙驻扎巡逻。
西汉前期，南军最为鼎盛，人数接近两万余人。汉武帝时将南军的兵力缩减为一万多人。其卫士都是除京畿三辅地区以外的内地郡国兵中服役一年以后的的正卒担任，服役时间为一年，每年定期轮换正卒戍守。
因南军的卫戍位置为西汉的皇帝居住皇宫，西汉中央十分重视。卫士的往返所用的路费、服役期间的生活费用都直接由朝廷提供支用。对于卫士的迎送也是十分的重视，不仅由丞相亲自迎接即将纳入南军的正卒入城，在卫士服役期满返回原籍的时候，皇帝也会出现以示勉励。
北军
《百官表》：“中尉，秦官，掌巡徼京师。”，由此得知北军为京城兵，由中尉负责统领。其职平时负责守卫京师以及三辅地区，战时往往由将军统领部分或者全部出征。和南军互为表里，南军守宫内，北军则负责宫外京城。
北军兵员较多、武器、装备较为精良，战斗力超过南军，其士兵征调自三辅地区的正卒，服役期限同样为一年。中尉之下还有中垒、寺互（武器所）、都船四令丞。又有式道左友候、候丞，以及左右京辅都尉、辅丞兵卒都属于中尉指挥。
汉武帝时，征调北军对外作战，害怕内部空虚，以致生变。所以为了加强京师的防卫力量，进一步扩大了北军的建制，除了原有的中垒校尉，又增加了七个校尉部，统称为八校尉。即，中垒校尉主要掌握北军营垒内外的事情，以及西域之事；屯骑校尉主要掌握骑士；步兵校尉主要掌握上林苑的军队；越骑校尉主要掌握三越骑兵；长水校尉主要掌握长水、宣曲的内附胡人骑兵；胡骑校尉主要掌握池阳的胡人骑兵，但不常设置；射声校尉主要掌握弓弩手；虎贲校尉主要掌握轻车，即车兵。
除了长水校尉和胡骑校尉所掌的军队多为内附投降的匈奴人之外，其余都是汉人，大多都是征募与三辅地区，他们终生为伍，不事生产，专于训练，具有世兵的性质。此外，还设置了城门校尉，统率城门驻兵，负责守卫十二城门。城门校尉的军队来源与南军相似，来源于内地郡国兵的戍守征调。同时，改中尉名为执金吾，作为北军的指挥官。北军八校尉在汉武帝时设置，有尉丞、尉司马，校尉秩比两千石，位高权重。
南军、北军相互独立，互不统属。但也有特殊，汉文帝以代王的身份入未央宫即位时，则以原代国中尉宋昌为卫将军统一指挥南北军。以及周亚夫以车骑将军的身份指挥过南北军。除此两次之外，便再无统一指挥的时候。
侍从郎卫
西汉宫廷内部宿卫和天子出行仪仗禁卫主要由郎官担任。汉初，承袭秦制设立郎中令负责宫中宿卫，指挥侍从郎官。初郎官有中郎、郎中、外郎三种，汉武帝时又增设了期门郎、羽林郎，而去掉了外郎。郎中令，侍从郎卫的主要指挥者。汉朝建立后，承袭秦制设了郎中令负责宫内禁卫。武帝时改郎中令为光禄勋作为侍从郎卫的指挥官。属官又分为中郎、郎中、外郎三个部分。中郎，下属五官、左、右三将；郎中，有车、户、骑三将。武帝时，去掉了外郎之职，增设了期门郎和羽林郎作为补充。
侍从郎卫的设置一是为了担任皇帝亲卫，宿卫宫中，负责皇帝宫中最后一关的保护；二是为了对京师南军北军的制约；当时的北军人数达到了数万人，而南军人数仅为八千人左右，不到万人。设置侍从郎卫，不仅增加了天子宫中的保护力量，同时侍从郎卫驻扎于皇宫之中，理当属于南军属下，以增强南军实力，用以与北军形成相对平衡。然则侍从郎卫隶属于郎中令，而不隶属于卫尉。
两者同为九卿，互不统属。那么其目的不仅仅是促成南北军的平衡，同时更多的是对宿卫宫中的南军的一种制衡。武帝时，更是对南军进行了裁撤，而增加了郎官的设置，增设了羽林郎和期门郎。更加明确了对南军的制约。
