闪击波兰
1939年8月，二战即将爆发。古德里安任费多尔·冯·博克辖下的第19装甲军军长（包含第3装甲师）。第19装甲军作为德军北方集团军群的开路先锋，一路如入无人之境。在随后不到2个星期的时间里，古德里安和保罗·路德维希·埃瓦尔德·冯·克莱斯特的装甲军的高速前进，就使战术落后的波兰人陷入重围，德军步兵所起的作用就是俘虏包围圈里的敌军。在战役开始1个月零1天后，波兰战役结束，古德里安的第19装甲军，在整场战役中只阵亡150人，受伤700人。
古德里安于此役中，首次实现了他装甲兵作战的战术理念，即在合适地形的战术方向上，以装甲集群作为火力，机动与防护三位一体的突击手段，集中于敌防线的某一点进行突破，成功后即向敌纵深迅猛发展，致敌无法重整集结，以再次构筑防线。在他的战争回忆录中，他不无骄傲地声称，他很有可能是人类战争史上第一位坐在装甲指挥车中利用无线电指挥部队，随同一线战斗部队一起冲过敌人防线的高级指挥官。
横贯法国
1940年5月，古德里安参加了法国战役，且再次成为攻击矛头－担任A集团军辖下的第19装甲军军长。在埃里希·冯·曼施坦因的建议下，希特勒赞同、采纳了这位时任A集团军参谋长的进攻计划。计划中德国人将主要攻势从右翼费多尔·冯·博克上将率领的以比利时北部列日地区为攻击目标的B集团军转移到了中央地区的A集团军手中。并以阿登山脉－这个被认为是机械化部队无法通过的地区为突破口。他的第19装甲军仅用两天时间便成功穿越了阿登山脉110千米长的峡谷地带。在战役中优异的表现也令古德里安重塑了以往被认为只会纸上谈兵的印象。
他的进攻速度不仅令对手甚至连他的上级龙德施泰特和希特勒都胆战心惊：在强渡马斯河后，古德里安就不再将坦克当自行火炮使用，而是尽可能地发挥其高速特性向纵深地区运动，从色当直到滨海的阿布维尔、格拉夫林，完成了一个举世震惊的巨大包围圈。这个包围圈把法国北部和比利时的所有盟军都装进了口袋。在行军期间古德里安的部队甚至没有时间俘虏敌军，而是通过扩音器大叫：“我没有时间俘虏你们，你们要放下武器并且离开道路以免阻碍我们前进。”以此他创造了现代战争史上的最快的进攻速度，即在不到6天的时间里他的装甲军长驱直入400多千米横贯法国，将坦克开到了大西洋岸边。
苏德战争
1941年6月22日苏德战争爆发，希特勒决定以三个集团军群对苏联发起迅速的闪击战——他们分别是勒布元帅所率领的北方集团军群、博克元帅所率领的中央集团军群、龙德施泰特元帅所率领的南方集团军群。古德里安则是隶属于中央集团军费多尔·冯·博克元帅辖下的第2装甲集群司令。
1941年7月9日上午分管第2装甲集群的第2军团司令克鲁格元帅，因为听说准备强渡第聂伯河，而赶到他的驻地，准备进行阻止。随后古德里安成功的说服了克鲁格，批准其强渡第聂伯河向斯摩棱斯克发起进攻。直到1941年7月11日德军已经几乎攻占了白俄罗斯全境，向东前进了约450至600公里。1941年7月12日古德里安的装甲集群包围了前往救援斯摩棱斯克的苏联红军第13集团军的4个师和第20机械化师的部分力量。
次日苏军进行了猛烈反击，苏联中央方面军总司令提摩胜科下令在戈梅利附近的总计20个师兵力向古德里安发动攻击，处在包围圈内的苏军亦开始了突围行动。激烈的战斗后，第2装甲兵团击退了反攻的敌人，得以继续向斯摩棱斯克前进。1941年7月15日凌晨，古德里安的先头部队第71步兵团在天色掩护下经一条乡间小路占领了位于斯摩棱斯克外围防御圈中的炮后阵地。7月16日古德里安攻下了斯摩棱斯克，次日希特勒在古德里安的骑士铁十字勋章上加授橡叶。
