临沂是山东省南部重镇，距台儿庄90公里，是徐州东北的屏障，如果临沂保不住，日军则可以从青岛长驱直到台儿庄、徐州，威胁陇海，津浦两条铁路的安全。1938年2月，日军进攻莒县，临沂吃紧。第五战区司令长官李宗仁急电驻守海州的第四十军庞炳勋部进驻临沂。这支部队对蒋介石政府来讲是属“杂牌部队”。
自1937年10月在沧县抗击日军后，奉命调至东海、连云港等地，一面整训，一面对连云港至盐城一带沿海设防，经过3个多月的整训，人员及武器大体上得到了补充。编入第五战区序列之初，庞炳勋来徐州拜见李宗仁。李宗仁对庞炳勋以优礼相待，并推心置腹地对庞炳勋说：“我们在内战中搅了20多年，虽然时势逼人，我们都是被逼在这漩涡中打转，仔细回想那种生活太没意义了，黑白不明，是非不分，败虽不足耻，胜亦不足武。现在真是天如人愿，让我们这些人这辈子有个抗日救国的机会，今后如能为国家民族而战死沙场，才是真正死得其所。”庞炳勋听了李宗仁一席话很感动，他说：“长官德威两重，我们当部属的，能在您的领导下为国效力，天日在上，万死不辞，对于抗日我决不保存实力，一定同敌人拼到底。”
当李宗仁听说第四十军正奉国民政府中央令准备缩编时，为他们向中央反映，使中央收回了缩编第四十军的命令，又对这支部队给予了物品和武器装备的补充。然后，第四十军赴海州接防。这次临沂吃紧，庞炳勋接到李宗仁电令后立即命令部队快速集结开赴临沂。1938年2月中旬，部队集结完毕。当时第四十军拥有1个师即三十九师（辖第一一五、第一一六两个步兵旅），1个直属特务营，1个补充团及炮兵、工兵、通信各1个营，1个骑兵连，1个手枪连。庞部到达临沂后，立即派人查看临沂周围地形，并召集营长以上指挥官及各级参谋联席会议，研究敌情及攻守方法，具体部署为：军部及第三十九师师部同驻临沂南关的山东省立第三乡村师范学校，第一一五旅驻城东相公庄一带，第一一六旅驻城北诸葛城一带，补充团驻城关，炮兵工兵等营及直属特务营驻南关。
庞炳勋命令部队在沂河以东、台潍公路东面的桃园、三官庙、郁九曲、于埠一线构筑工事，挖壕破路，筑起坚实的防线。在沂水、诸城、莒县一带，日军2000多人步炮联队与中国军队激战，由于日军人数众多，装备优良，中国军队逐渐感到力不从心，敌人大有乘势逼近临沂的劲头，正在这个时候，赶来支援的第四十军接到李宗仁的命令，庞炳勋急忙派第一一五旅旅长朱家麟率所部第二二九、二三○两个团，增援莒县，随即第二二九团为右翼，第二三○团为左翼，向莒县前进。
2月26日，右翼第二二九团到达莒县并占领了城内阵地。左翼第二三○团也同时到达莒县城西一带村镇，与城内部队形成了遥相呼应之势。
2月27日拂晓，日军出动1000余人的兵力，在猛烈炮火的掩护下，突然将莒县城西、北两面包围，并向中国军队发动猛烈的进攻。中国军队奋起反击，在炮火的支援下，将进城的日军击退。
2月28日，日军又从城东北角偷袭莒县城，并逐渐向西南方向延伸，中国守兵寡不敌众，损失惨重。2月底日军占领莒县，很快由莒县西南夏庄、黄庄向第四十军的临沂汤头逼近。
3月3日，日军与第四十军第一一六旅第二三二团接火，日军每日出动大批飞机向中国军队进行轰炸，步兵在坦克、排炮的掩护下发动攻击，中国军队英勇抵抗，不怕牺牲，激烈的战斗持续五、六天，后终因伤亡过重而撤出了汤头阵地。汤头撤守，太平、白塔两地吃紧。军部命令第一一六旅第二三一团坚守，拖住日军主力，另由垛庄调回补充团由葛沟以北抄袭日军右侧，由相公庄抽调第一一五旅第二二九团沿沭河东岸抄袭敌人左侧。当第二二九团第二营前进至铜佛宫庄时，与日军相遇而展开激战，日军见其左右被围、被迫放弃太平、白塔一带的村庄，撤回汤头镇。
3月4日，第四十军主阵地改守为桃园、蒋庄之线，补充团第二连在前沿阵地葛沟阻击日军，掩护主力部队和友军集结。补充团团长李振清对二连下达命令时说：“临沂、葛沟这次战役胜负至为重要，一定要有与阵地共存亡的决心，不惜牺牲，歼灭日军！”二连官兵齐声表示：“宁愿战死沙场、决不当亡国奴。”随即在台儿庄至淮县公路附近和村庄的四周堆集了沙袋，借助土堆院墙，筑好防御工事，准备抗击日军。
3月9日，日军步兵、骑兵和炮兵3万余人，向二连阵地发起猛烈攻击。二连仅装配有6挺轻机枪，士兵用枪是汉阳造步枪和老套筒枪；每个士兵都配有一把大砍刀，面对日军的进攻，二连官兵沉着应战，打退了日军一次次进攻。日军几次进攻失败。敌机便轮番来向中国阵地上投下了一颗颗炸弹，二连官兵用步枪，机枪朝着低空飞行的日军飞机射击，赶跑了敌机。敌机飞走了，日军的大炮又响了，大炮持续的轰击，使中国阵地上瓦砾、泥沙、石块漫天飞舞，大树被掀倒，房屋、麦垛等着了火，二连官兵不断伤亡。日军炮火过后，骑兵向二连阵外杀来。连长大声命令道：“瞄准马头打！”随着二连官兵的枪响，日军骑兵纷纷落马，夺路逃走。
3月11日，日军逼近临沂正面诸葛城至郁九曲之线，飞机每日轮番轰炸，大炮不断地轰击，中国军队阵地大部分被日军炮火摧毁，官兵伤亡很多，日军步兵在坦克掩护下向中国军队猛冲而来，中国守军仅凭手榴弹阻击日军，炸毁了日军多辆坦克，日军虽经日夜反复冲杀，在付出了很大伤亡后，竟不能越雷池一步。中国守军第四十军的据城死守，一直被称为最优秀的“皇军”竟然在中国的这支“杂牌军”面前寸步难行，使日本号称强大的板垣师团丢尽了脸面。日军更加强了攻势，中国守军连续奋斗，惭感不支，庞炳勋急电请援。此时，正在鲁南、徐州附近集结待命的第五十九军，是抗日民族英雄、爱国将领张自忠领导的部队，有第三十八、第一八○两个师。
早在3月3日，他们就接到了主力向济宁、兖州之敌进攻的命令，部队迅速开动。急行军途中，张自忠又接到驰援临沂庞炳勋第四十军的命令。第五十九军将士立即乘火车南下峄县，然后在一昼夜内以90公里急行军速度于3月12前到达临沂城西郊。
三月十二日，日军又向临沂大举进攻，第四十军将士奋勇抵抗，激战进行到当日下午，阵地上传来振奋人心的消息：第五十九军军长张自忠率部来到临沂增援。一时间阵地上欢呼声振天，士气大增，敌我形势转变。张自忠率部到达第四十军军部时，天色已晚。夜幕降临后，战斗不仅没有停止，反而更加激烈了。日军炮弹不断从头顶上飞过，带着刺耳的尖叫。
庞炳勋见张自忠来到军部，先是一惊，连忙出门迎接，他紧紧地握着张自忠的手，不迭地说：“来得正好！来得正好！……。”2人进屋坐定，庞炳勋对张自忠开着玩笑说：“老弟呀，人家说你要在北平当汉奸，我才不信呢。”原来，“七·七”事变前，张自忠原为宋哲元第二十九军中的师长兼任天津市长，日本一意使华北特殊化，张自忠与日军周旋，忍辱负重，外界不明真相，误以为张自忠是卖国求荣的汉奸。“七·七”事变后，张自忠仍在华北与日军交涉，当时舆论界指责张自忠是“国人皆曰可杀的汉奸”。张自忠到南京有口难辩，在李宗仁的帮助下，张自忠得以回到自己的部队，重新带兵。庞炳勋、张自忠原来都是冯玉祥的部下，彼此亲如兄弟。蒋介石、冯玉祥和阎锡山中原大战时，庞炳勋受人收买倒戈反冯，出其不意地袭击了张自忠师部，张自忠险遭不测，庞、张存下介蒂。张自忠曾表示：除庞炳勋所在战场外，其他战场皆愿以死报国。这次临沂之战，庞炳勋受困请援，第五战区除第五十九军可以调动外，无兵可援，李宗仁知道庞、张之间的矛盾，临行前把张自忠找来，诚恳地对张自忠说：“我知你和庞炳勋有宿怨，那是以前内战造成的，不论谁是谁非，皆为不名誉的私怨私仇，现在，庞炳勋部在前方浴血奋战，是雪国耻、报国仇之举，希望你以国家、民族为重，捐弃个人前嫌，率所部支援临沂作战，并要接受庞军团长的指挥。”张自忠听到这里，爽快地回答道“坚决服从命令。”
