在军事方面，相当三公的中央高级官员有大将军、骠骑将军、车骑将军、卫将军，相当九卿的有前、后、左、右将军，均不常设。以上将军均开府，府属有长史、司马各一人，掾属二十九人，令史御属三十一人，从事中郎二人，职掌参谋，均由朝廷任命。将军直接领兵的，在部、曲、屯等建置上分别设校尉、司马、军侯、屯长等统兵官。
东汉中期以后，太后临朝称制，外戚以大将军执政，与太傅三公合称为五府。另有所谓杂号将军，临事设置，事毕即撤。唯度辽将军因南匈奴所部时有内乱，自永平八年（65年）后常设。汉灵帝设西园八校尉，统率首都洛阳驻防军队，以宦官主之，这是后世宦官领兵的开端。
常备军由中央与地方军（郡国兵）组成。中央军中，京师卫戍部队由城门校尉统领，野战部队（北军）由北军中侯统领。北军下辖五个兵种的部，番号分别为屯骑（骑兵）、越骑（特种兵）、步兵、长水（水军）、射声（弓箭）。长官为校尉，副职司马。
全军总数约五千人不到。北军平时驻屯在京城长管君主宿卫、助理首都治安，发生战事就成为组建出征部队的核心。地方上的郡国兵经东汉初期多次裁撤、削减，只剩下边郡与内地关隘的少数驻军。遇有战乱，都是临时募兵或抽调京师北军出战。
汉承秦制，皇帝仍是最高军事统帅，皇帝通过其直接操纵的两大朝廷军事领导机构，控制全军。这两大机构，一个是由郎中令、卫尉、中尉等组成的朝廷警卫部队领导机构，再一个是由太尉、将军、将、尉等组成的全军最高军事行政领导机构。
朝廷警卫部队领导机构大致可分为宫廷警卫与京城警卫。宫廷内警卫称为南军，主要由郎中令负责，属官有议郎、中郎、侍郎、郎中。汉武帝时，南军由卫尉统领，负责守卫宫殿。卫尉属官有如公车司马令、卫士令等。
警卫京城的称北军，系京师精锐，无事自屯其所，有警应诏救急，因驻于未央宫以北，与宫中南军位置相对，故名。
北军主要由中尉负责，汉武帝时更名为执金吾。执金吾除了担任宫殿之外、京城之内的日常警备，在皇帝出行时还要充任护卫及仪仗队。执金吾的属官有如中垒、寺互、武库、都船等军职。
为了有效地控制全军，皇帝在朝廷设置了以太尉为首，包括将军、将、尉等职的军事领导机构。
太尉是名义上的最高军事长官，但实际只负军事行政责任，并无发兵、领兵之权。调兵权完全操于皇帝之手，如无皇帝的符节，虽官为太尉也不得领兵、发兵。
将军的称号先秦已有，约在汉代才定为官名，而且有大将军与列将军之分。皇帝的近卫武官称将军，近卫武官之长则是大将军。
因其近卫皇帝左右，多为亲信，故能得委任领录尚书事，居宫中参与政事，逐渐成为朝官的重要角色。西汉大将军之位，基本上可与三公地位相当。
与大将军地位相仿的还有骠骑将军、车骑将军等，稍次有卫将军，如遇有边事，还备齐前后左右四将军。
比将军地位略低的军官是将，或称别将。再往下则属中级武官，有校尉、都尉。一般说校尉在都尉之上。他们战时带兵出征，平时与大将军同居朝中，为皇帝直接控制。
汉代军队的各级指挥员不仅在战时领兵作战，更要在平时负责军事训练。按西汉军制规定，未经训练或技术不娴熟的士卒不能应召。同时，军事训练的内容根据不同的军种而有所不同。
