1941年春，敌人对冀南区开始大规模“扫荡”，并加紧推行所谓的“治安强化运动”，对游击区和接敌区着重实行封锁和“蚕食”政策，在北起南宫县大高村，南至清河县王官庄之间新修一条长百余里的公路，沿线筑十几个炮楼和据点，将根据地分割成东西两片，严重限制了抗日军民的活动。在此的日伪军烧杀抢掠、无恶不作，杀害了许多抗日干部和群众。为了粉碎敌人分割蚕食根据地的企图，保证人民生命财产安全，8月27日，冀南军区召开会议，部署了破袭王高公路的作战任务。第二十一团与新七旅的另两个团，在人民群众的配合下，在王高公路全线出击，分段进攻，二十一团向马固以南至王官庄一段之敌进攻。经过三天三夜的激战，拔掉了王高公路沿线的各个据点，并将这条公路挖成几段，捣毁了大部分路基。毙敌500余人，俘敌450余人，缴获步枪500余支，轻机枪27挺，掷弹筒6具和大量弹药、物资。这次破袭战，大灭了敌人的威风，大长了我抗日军民的志气，进一步巩固了冀南抗日根据地的腹地。
1941年至1942年，冀南抗战进入最艰苦时期。敌人对我冀南根据地连续进行“扫荡”，在根据地内侵占大的村镇，建碉堡、修公路、挖路沟，实行“格子网”战术，加紧对根据地进行清剿。为适应斗争形势发展的需要，根据党中央和一二九师“精兵简政”的指示，冀南军区先后进行了三次精简整编。二十一团划归第六军分区建制，由大团改编成小团，取消营的建制，缩编为5个大的战斗连，营职干部有的调出另行分配，有的降职使用。部队化整为零，以连为单位分散活动于枣强县敌人大营据点以西、南宫县敌人高村据点以北、冀县敌人瓦窑据点以东地区，配合当地抗日民主政府建立和巩固根据地。1941年9月上旬，为迎接冀南军区高级干部会议的召开，上级决定歼灭南宫县垂杨镇中心据点之敌。二十一团负责打援，并袭击南王庄敌人据点。战斗中，二十一团将第六分区埋藏在地下的战利品——一门三八式野炮挖出来，推到距敌碉堡50米处射击，有力配合了友邻部队的攻坚战斗，迫使中心据点的守敌全部缴械投降。
1942年2月，二十一团接到地方党组织报告：枣强县恩察镇敌据点的一个伪军中队作恶多端，广大群众强烈要求予以打击。了解情况后，二十一团以三个连的兵力在夜间设伏于恩察镇南门内。第二天早晨，伪军整队从北门进入，按常规出南门出操，我设伏部队乘其不备突然开火，仅10余分钟便结束战斗，毙敌中队长以下10余人，俘伪军50余人，缴获轻机枪2挺、步枪60余支、短枪1支，并将敌炮楼烧毁。此次战斗大快人心。
“4·29”反“扫荡”是二十一团抗战时期经历的一次前所未有的惨烈战斗。1942年4月29日，日军调集3个独立混成旅团和1个师团的部分兵力约万余人，加上驻枣强、武城、清河、德州等地的伪军共三万余人，由日军华北派遣军司令官冈村宁次统一指挥，在飞机、坦克、装甲车的配合下，以突然袭击的方式，对我冀南抗日根据地发动了“铁壁合围”式的“大扫荡”。此时，二十一团主力驻大营东南的崔浒、油故周围，正处在敌人的包围圈内。这天早晨太阳刚刚升起，部队正在开饭，突然遭到日军攻击。二十一团且战且向东南故城方向撤退，找到冀南军区机关后，与军区特务团一起，冒着敌机的疯狂扫射，连续与合围的日军展开激战。上午10时左右，军区机关和各部队汇集到十二里庄一带。此时，敌人的合围圈已经构成，形势异常严峻。军区参谋长范朝利、政治部主任刘志坚决定：骑兵团向西北突围;七旅旅直及二十一团向西南突围;军区机关、区党委、行署机关等随七旅行动;特务团断后掩护。突围命令下达后，二十一团战士们奋勇冲杀，终因寡不敌众被迫撤回。中午十二时后，敌人的包围圈压缩得越来越小，形势万分紧急，我冀南区党政军机关和直属部队面临被围歼的危险。军区首长根据侦察员报告的情况，立即调整部署，决定向敌人力量薄弱的南面突围，命特务团在左;七旅旅直及二十一团在右;骑兵团在中;党政机关及其他人员都随骑兵团和特务团突围;二十一团、骑兵团、特务团各留一个连在十二里庄以北阻击敌人，掩护主力部队突围。此时狂风骤起，尘沙飞扬，天昏地暗。部队乘势向南突围，当冲到王行杖村以北时，遇到了敌人的第一道包围圈。骑兵团与敌展开激战，全歼日军一个小队。二十一团和特务团的先头部队也分别从王行杖村两侧发起猛烈冲击，打开了一条缺口，我大队人马随即冲出了敌人的第一道包围圈。我军继续向外突围，在大辛庄又遇到了敌人的第二道包围圈。二十一团和特务团趁着漫天风沙迅速隐蔽起来，骑兵团将战马隐蔽在一条道沟里，调集12挺机枪，待敌逼近后一齐射击，敌人死伤一片。二十一团和特务团的先头部队也冲上去，拼命顶住企图封锁突破口的敌人，大队人马乘势冲出了敌人的第二道包围圈。又冲出二里多路，遇到敌“铁壁合围”的第三道防线，这道防线由少数鬼子和伪军组成，部队边打边冲，很快就突了过去。此时，敌人的飞机、坦克和装甲车还在远处轰鸣，尾追的敌人又在集结，部队飞速向清河东北的黄金庄方向挺进。当晚，二十一团由黄金庄北侧向西北方向转移，终于脱离了敌人的包围圈。
“4·29”“大扫荡”一直持续到5月7日才结束。此间，二十一团和兄弟部队并肩作战，掩护冀南军区、区党委和行署机关突破重围，彻底粉碎了日军精心策划的“围歼”计划。反“扫荡”取得了胜利，但二十一团也遭受了重大损失，一连130余人仅剩21人。稍后，全团缩编为3个战斗连队。政委王进前调出，张贤廷继任，陈金龙任副团长。
敌人不甘心失败，又进行了“6·11”、“9·12”等多次大规模的“扫荡”。二十一团在环境十分恶劣的情况下，以英勇顽强的精神和灵活机动的战术，积极主动捕捉战机，狠狠打击敌人，同根据地人民一起经受了严峻的考验。7月14日，二十一团组织11人的便衣队，在枣强县杜烟村全歼伪特务队24人，我军无一伤亡。7月下旬，团侦察参谋李振江带领3名侦察员，化装成赶集的老乡混入卷子镇内，在集市中心活捉2名日本兵。9月15日，第六军分区发出反“扫荡”训令。二十一团在团长刘甦率领下，以两个连进至卷子镇以南，袭扰打击向瓦窑、里祥一带“扫荡”、合围的敌人;另两个连位于垂杨地区活动，配合垂杨、冀县游击队破坏敌人的交通线，袭扰敌人据点。9月21日，第5连于枣强至卷子镇之间的程玉屯设伏，歼灭枣强的日本宪兵队10余人，并击毙伪军7人、俘8人。之后，该团另一部于卷子镇东果村设伏，击毙“扫荡”回巢的日军30余人。为更加灵活地打击敌人，二十一团还组建了一支由13名战斗骨干组成的武装工作队，由团侦察参谋李振江率领，深入敌后，除奸反特。11月的一天，从枣强出动伪军五六十人，进至枣强至冀县公路旁的崔村集，武工队发现后决定予以打击。当伪军进入村里学校院内休息时，武工队员们迅速爬上屋顶，李振江大声喊道：“一连从东边上，二连从西边上。缴枪不杀!不缴枪我们要甩手榴弹了……”敌人还未来得及弄清情况，就乖乖地举手投降了。武工队员把枪机卸下来，将枪身交给俘虏背上，迅速撤出了村子。此次战斗，武工队不费一枪一弹就歼灭伪军一个中队，极大地鼓舞了抗日军民的斗志。
