从1937年12月起，华北、华中的日军分南北两线沿津浦铁路和台（儿庄）潍（县）公路进犯徐州外围地区。1938年3月初，日军为打通津浦线，连结华北、华中战场，派遣第五师团和第十师团分两路进犯台儿庄。台儿庄位于津浦路台（儿庄）枣（庄）支线及台潍公路交叉点，扼运河咽喉，是徐州的门户。3月5日，板垣征四郎率第五师团2万余人由青岛沿胶济路西进，经潍县转南抵达临沂以北汤头镇，谋取临沂，进而与矶谷廉介的第十师团会师台儿庄。
14日，中国守军庞炳勋第三军团和前来驰援的张自忠第五十九军与敌激战5日，全歼敌3个联队，击毙其第十一联队长长野裕一郎大佐、弁田中佐和1名大队长，残敌向沂河东岸溃退。3月16日，敌第十师团一部3万人沿津浦路南下，进攻滕县。中国守军孙震第二十二集团军第四十一军第一二二师、一二四师与敌展开血战，伤亡惨重，第一二二师师长王铭章等壮烈殉国，官兵2000余人牺牲。3月18日，滕县沦陷。20日，日军继续南下受阻，主力东移，攻占枣庄、峄县，沿台枣支线向台儿庄突进。国民党第五战区司令长官李宗仁令孙连仲第二集团军三个师沿运河布防，扼守台儿庄正面阵地，命汤恩伯第二十军团的两个军让开津浦路正面，诱敌深入，待日军主力直扑台儿庄时，即行南下，抵敌之背，协同孙连仲部围歼敌人。次日，蒋介石到徐州督战。
3月23日，第二集团军第三十一师在泥沟车站与日军发生遭遇战，台儿庄战役开始。傍晚，日军追击中国军队第十一师一八五团到南洛。被伏兵所阻。24日，敌军进至刘家湖后继续南犯，突击台儿庄城东北，被守军一八六团全歼200余人。25日，日军进攻南洛。一八五团主动出击，三营营长高鸿立率全营士兵与敌拼杀，誓夺敌炮。敌1000余人配以20余辆坦克向高营猛扑。团长王郁彬率一、二两营赶来增援，血战两昼夜，王郁彬、高鸿立负伤。27日，日军攻破台儿庄北门。中国守军第三十一师与敌在庄内展开拉锯战，双方伤亡甚重。日军不断增加兵力，从峄县调来增援部队4000余人。28日，日军攻入台儿庄西北角，谋取西门，切断中国守军第三十一师师部与庄内的联系。该师师长池峰城指挥所部以强大炮火压制敌人，并组织数十名敢死队员，与敌肉搏格斗。汤恩伯军团关麟征第五十二军和王仲廉第八十五军在外线向枣庄、峄县日军侧背攻击。29日，日军濑谷支队再以兵力支援，并占领了台儿庄东半部。31日，中国守军将进入台儿庄地区的濑谷支队完全包围。是时，坂本旅团由临沂转向台儿庄驰援，到达向城、爱曲地区，侧击第二十军团。
该军团即命第五十二军和刚到的第七十五军围攻坂本支队。激战数日，予日军以重创，使其救援濑谷支队的计划落空。4月3日，李宗仁下达总攻击令。第五十二军、第八十五军、第七十五军在台儿庄附近向敌展开猛烈攻势。日军拼力争夺，占领市街大部。中国军队展开街垒战，逐次反击，肃清敌人，夺回被日军占领的市街。6日，张金昭的第三十师收复南洛，断敌后路，黄松樵第二十七师向台儿庄以东出击，敌仓皇向西北退却。第三十一师向庄内敌人反击，濑谷支队力战不支，向峄县溃逃。4月7日，坂本支队仍在庄内顽抗，在孙连仲、汤恩伯所部夹击下，当晚向北溃败。台儿庄战役取得了胜利。在台儿庄战役中，中国军队击败日军第五、第十两个精锐师团，歼敌1万余人。这是抗战以来国民党正面战场取得的重大胜利，粉碎了日本“三个月灭亡中国”的计划。由于敌强我弱，也由于国民党政府实行片面抗战路线和单纯防御的方针，这个胜利未能改变正面战场的被动局面。
