一、小队
步兵小队辖一个机枪组(二挺轻机枪)、一个掷弹筒组(二个掷弹筒)和二个步枪组。每挺轻机枪编制四人(指挥官、射手、两名携弹药的副射手)，每具掷弹筒编制两人。小队人数在50到70之间。到1945年，步兵小队仅有一挺轻机枪与一个掷弹筒。步兵炮小队，两门70mm步兵炮。
二、中队
步兵中队辖三个步兵小队，人数在194到250人之间。
日军的一个标准的步兵中队(181人)包括：一个19人的中队部：中队长，执行官，3个军士，4个卫生员，军官的勤务兵，司号员，8个通信员)，3个前述54人的小队。
三、大队：
日军一个标准的1100人编制的大队包括：30人的大队部， 一个110人的运输中队(大车和骡马)，有的大队将所属的运输中队合并到联队里。
四个前述的步兵中队(一些只有3个);
一个174人的机枪中队(14人的中队部和3个机枪小队，1个弹药小队)，每排4挺重机枪，总数12挺(有的连只有8挺);
一个55人的炮小队(1个10人的小队部，1个15人的弹药班，两个15人的炮班各装备1门70mm九二式步兵炮)， 极少的部队配备一个122人的炮中队(包括一个27人的弹药小队，两个31人的炮小队各装备2门步兵炮)。在这些少量的炮中队中，极幸运的一些可以分到20MM反坦克枪的部队，可以编成4个24人的装备2挺反坦克枪的小队，这种情况下，弹药小队要扩充为39人。
四、联队：
日军的一个标准的3800人的联队包括一个54人的指挥部;一个121人的运输队(大车和骡马)，携带联队部和直属各中队一日份的给养以及可能配属师的野战厨房;一个81人的弹药排携带一日份的弹药。
三个步兵大队;
一个122人的炮兵中队，包括一个25人的中队部， 1个观察班， 一个31人的弹药小队，三个31人的炮小队(各有2个15人的炮班，装备1门70mm九二步兵炮)。极少数联队有一个364人的炮兵大队，编两个170人的中队，各4门炮。
联队属反坦克中队有122人：20人的中队部，21人的弹药小队，3个33人的炮小队(各有两门37mm反坦克炮)。
通信中队有一个电话小队(4到6个电话班，每班3部电话，一个交换机)，一个无线电小队(5到8台电台)，在战斗中电话和电台配属到各大队和各直属队。
联队的卫生系统配备很薄弱， 联队只有2名医生和2名卫生员，大队有3名医生和四个卫生员，中队有四个卫生员。
五、旅团
师团辖步兵旅团(5000---7700人)下辖两个步兵联队，每个步兵联队2500---3800人。
独立步兵混成旅团
初期，独立混成旅团辖五个步兵大队与一个炮兵队、通讯队、工兵队、辎重队等，总人数约5000人。步兵大队辖三个步兵中队与一个机枪中队(四挺重机枪)、炮兵队辖一个山炮中队与二个野炮中队。旅团司令部：人员27，马6;独立步兵大队：人员782，马40;炮兵队： 人员596，马366;工兵队： 人员176，马6;通信队： 人员175，马27;共4900人。
后期，独立混成旅团的步兵大队改为辖有四个步兵中队、一个机枪中队与一个步兵炮中队，人数达1500人的大编制。旅团炮兵则辖有六门野炮与十二门山炮，同时其工兵、辎重部队也予以扩编，全旅团约8280人，配备军马1800匹、步骑枪4050枝、掷弹筒120个、轻机枪120挺、重机枪30挺、平射炮10门、山炮20门、野炮12门等武器装备，是具备相当野战能力的作战单位。
独立警备队
独立警备队一般管辖六个独立步兵大队，大队下辖三个步兵中队与一个机枪中队(四挺重机枪)，共有兵员5450人，配备军马420匹、步骑枪3660枝.掷弹筒144个、重机枪24挺。由于这种部队没有重型武器，一般只担任后方警备任务。
骑兵旅团
骑兵旅团一般下辖两个骑兵联队，一个骑炮兵联队，一个装甲车队共有兵员5600人，配备军马5668匹、步骑枪3705枝、重机枪12挺、野炮36门等武器装备。
野战重炮兵旅团
野战重炮兵旅团是其陆军预备队炮兵，一般有官兵8000余人，配备有100毫米至240毫米的大口径榴弹炮或加农炮70余门，常用于重点攻坚任务。
六、师团：
日军的师属单位主要有：3个步兵联队，一个野战炮兵联队，一个侦察联队，一个工兵联队，一个运输联队，通讯队。
野战炮兵联队编制2322人，有3个688人的炮兵大队，各装备12门75mm野炮或山炮， 只有一些师团将其中一个大队替换成105mm炮。
侦察联队编制730人，包括一个130人的联队部，一个130人的骑兵中队(4个30人的排)， 两个160人的摩托化中队，1个100人的卡车运输中队(至少在纸面上可以运输那两个摩托化中队)。这个侦察联队也可以被一个950人的骑兵联队代替。
工兵联队编制900-1000人 ，几乎没有机械装备，只能承担极少的任务，更专业的任务主要由配属的独立工兵联队负责。
运输联队的规模大体上取决于可用的卡车数量，从理论上来说，由一个卡车大队和一个骡马大车大队组成。卡车大队由2到3个中队组成，每中队最多有50辆载重1.5吨的卡车， 许多师团都缺少卡车，一些根本就没有。
综合日军一个师团，有54门75MM的野炮或山炮，少数师团用12门105MM炮替换了75MM炮，卡车方面日军最多有100-150辆卡车。
抗战中期，随着正面和敌后两个战场的展开，日军为适应不同战斗规模的需要，把师团分为甲、乙、丙、丁四种等级，同时在做战时日军给各师团配属特种兵及补充人员等，可使一个师团指挥的人马达四万人以上。
1、四单位制师团：又称挽/驮马师团，甲种师团。辖2旅团(每旅团2个步兵联队)，工、骑、炮(48门炮)、辎各一联队，共8个联队。一般齐装满员的日军常备主力陆军师团兵力往往可达24000-28000人，拥有战马7630匹、步骑枪14900枝、掷弹筒144个、轻机枪288挺、重机枪54挺、山炮16门、野炮36门等武器装备。是具有多兵种配合的有强大战斗力的作战单位，故这种师团又被称为甲种师团。日本陆军第一至第二十师团、近卫师团、近卫第二、近位第三师团、战车第一、第二、第三师团和一度由常备主力师团的预备役部队编成的8个师团，均属于甲种师团的编制。
(1)单位挽马师团人员，装备情况：
师团司令部：人员330，马：165，各种枪95，非机动车63。
旅团司令部：人员75， 马20，各种枪36，非机动车4。
步兵联队：人员3747，马526，各种枪2590，各种炮14，掷弹筒76，非机动车256。
步兵大队：人员1091，马118。
步兵中队：人员194，各种枪174，掷弹筒6。
野炮兵联队：人员2894，马2269，各种炮48，各种枪541。
野炮兵大队：人员634，马499，野炮12。
野炮兵中队：人员128，马184，野炮4。
骑兵联队：人员452，马429，各种枪320。
骑兵中队：人员144，马134。
工兵联队：人员672，马99。
工兵中队：人员286，马19。
师团通信队：人员255，马47。
辎重兵联队：人员3461，马2612。
辎重兵中队：人员562，马376。
师团卫生队：人员1101，马128。
兵器勤务队：人员121。
野战医院：人员240。
总计：每师团约25000人，每旅团约7800人。
(2)常设四单位制驮马师团人员装备情况：
师团司令部：人员391，马239。
旅团司令部：人员80，马25。
步兵联队：人员3818，马约720。
步兵大队：人员1150，马180。
步兵中队：人员194。
骑兵联队：人员508，马约321。
炮兵联队：人员3699，马3600，炮48。
山炮兵大队：人员999，马720，炮12。
山炮兵中队：人员195，马138，炮4。
工兵联队：人员719，马150。
工兵中队：人员约300。
辎重兵联队：人员4890，马4260，辎重驮马具3882。
辎重兵中队：人员684，马598。
师团通信队：人员289，马84。
师团卫生队：人员1328，马163。
兵器勤务队：人员121。
野战医院：人员300左右
总计：每师团28500人，每旅团约7900人。
(3)临时编成三单位制挽马师团人员装备情况：
师团下辖一个步兵团，步兵团下辖三个步兵联队，师团还有师团搜索队，野炮兵联队，工兵联队，辎重兵联队，通信队，卫生队，兵器勤务队，病马厂一个，野战医院2个。
师团司令部： 人员91，马22，马车8。
步兵团司令部：人员7，马3。
步兵联队： 人员2909，马179。
师团搜索队： 人员319，马185。
野炮兵联队： 人员1745，马1259。
工兵联队： 人员402，马15，车2。
师团通信队： 人员178，马30。
辎重兵联队： 人员370，马113，马车50。
师团卫生队： 人员376，马47。
野战医院： 人员239，马87。
病马厂： 人员48，马11。
兵器勤务队： 人员132。
总计全师团约12800人，步兵团约8700人。
(4)丙种师团情况：丙种师团下编两个步兵旅团，每旅团下编四个独立步兵大队，以及工兵队，通信队，辎重队，野战医院，病马厂。人员：丙种师团的编制人员在不同时期变动极大，一般情况下，步兵旅团约为5100人，独立步兵大队为1270人，总计全师团约为11980人。
2、37制标准师团：辖2个旅团，每个旅团辖2个联队，每个联队装备41式山炮4门，37炮4门，92步炮6门，重机枪24挺。1个炮兵联队，48门炮，其中36门38式75毫米山炮，12门100毫米炮。共计25375人。
3、37制特设师团：辖2个旅团，每个旅团辖2个联队，每个联队装备41式山炮3门，92步炮6门，重机枪8挺。1个野炮联队，36门38式75毫米野炮。计21902人。
4、三单位制师团，又称乙丙丁种师团。辖步兵团，步兵团下辖三个步兵联队，联队下辖三个步兵大队与一个步兵炮中队(四门步兵炮)。步兵大队无炮兵小队，炮兵联队为24-36门山炮或野炮，骑兵联队改为搜索联队，其他如辎重、工兵等后勤部队也大为减少，编制人数为13000-18000人。
到了武汉战役结束之后、由于战场的扩大与战争消耗，日军越来越多将三单位制师团与独立混成旅团投入了第一线。因此、日军进行了编制上的调整，将三单位制师团的后勤部队予以补充，使总人数达到了1.5-1.7万人。独立混成旅团的步兵大队改为辖四个步兵中队与一个机枪中队，总人数达6000-7000人。该编制仅限于一线部队，守备部队仍为原编制。另外又开始将四单位制师团改为三单位制。
1938年后，由于日本帝国主义在侵华战争中兵力消耗极大，其后组建的第二十一师团至第四十九师团均取消了旅团级建制，由师团直辖三个步兵联队，每个联队下辖三个步兵大队，同时指挥炮、工、骑、辎重兵联队等单位，全师团定员减至1.8万人，配备军马2065匹，步骑枪8940枝、掷弹筒216个、轻机枪216挺、重机枪54挺、平射炮18门、山炮12门等武器装备，这种类型的日军师团被称为乙种师团。
六、其他：
日本陆军军衔共计6等16级，即大将、中将、少将、大佐、中佐、少佐、大尉、中尉、少尉、准尉、曹长(上士)、军曹(中士)、伍长(下士)、上等兵、一等兵、二等兵。日本陆军也有元帅军衔，但规定由日本天皇从战功显赫或资深的大将中选任，颁赐元帅封号，自明治维新后至1945年日本帝国主义投降，共有17位陆军大将被天皇颁赐元帅军衔。日本军衔与有些国家不同的是，大尉、大佐、大将的领、肩章上都只有3颗而不是4颗星。在日本陆军中，军司令官常是中将或大将军衔，师团长多是中将军衔，旅团长多是少将军衔(也有个别是中将军衔的)，联队长多是中佐或大佐军衔，大队长多为少佐、大尉军衔，中队长多为中尉军衔，小队长多为少尉军衔。
对于步兵来说，中队长以下的军官是徒步行军的，而中队长以上的大队长、联队长等都是乘马的。
在步兵联队中，军马主要担任兵器运输与弹药、补给搬运的工作。以九二式重机枪小队为例，九二式重机枪重55公斤，因此每小队编制有驮马五匹(其中一匹为预备马)，除了背负机枪外，负责驮运弹药时标准是每匹马需要驮负四个540发弹药箱，但是战时考虑长期行军的影响，实际上每匹马以驮运两箱为原则。
在炮兵联队中，以野炮而言若不计入火炮本身的挽马，单单每炮的附属车辆——弹药车、观测车、预备品车——就需要三匹挽马。而就山炮而言，山炮分解后是由六匹马以驮运方式运动，另外弹药驮运马每匹则驮运12发炮弹。
