早在日本发动全面侵华战争之前，共产党人就在山东积极开展抗日救国运动。1937年5月，中央派彭雪枫到山东开展统战工作，7月，又派张经武到济南同韩复榘进行接触，向韩传达了与其建立统战关系的愿望。通过谈判，韩同意释放其军法处系统羁押的政治犯。9至11月间，张晔、李林、赵健民、理琪、姚仲明等数十人相继出狱，奔赴全省各地，发动抗日武装斗争。1937年8月，张友渔受北方局华北联络局派遣，来济南成立山东联络局，负责联络和推动韩复榘等国民党军政要员共同抗日。在中共代表的提议下，韩复榘成立政训处，开办政工人员训练班，实际工作由张友渔等共产党人主持。党先后向政训班输送本地党员、爱国青年1000多人，结业后，分到各地发动抗日斗争。这些都为山东抗日武装起义准备了有利条件。
1937年7月卢沟桥事变后，中共山东省委在济南召开会议，决定建立抗日武装。10月，日军侵入山东，省委又在济南召开紧急会议，根据中共中央和北方局关于在敌后发动抗日武装起义和开展游击战争的指示，制定了分区发动抗日武装起义的计划和山东抗日游击队十大纲领。分区发动抗日武装起义的计划是：冀鲁边地区发动武装起义，成立第一军；鲁西及鲁西北地区成立第二军；胶东地区成立第三军；鲁中地区成立第四军；鲁东地区成立第五军；淄川、博山工矿区成立第六军；昌（邑）潍（县）地区成立第七军；寿光、广饶、博兴地区成立第八军；鲁西南地区成立第九军；沂水、莒县地区成立第十军。山东抗日游击队十大纲领的主要内容是：要保卫山东，就要组织山东抗日游击队，共产党员应当模范地脱下长衫到游击队去，每个党员都要发动群众参加或组织队伍；以“抗日游击队”或“山东人民抗日救国军”的名义，号召广大群众来参加这个部队；团结一切不愿做亡国奴的人们起来参加部队，扩大抗日民族统一战线；部队组织发动的时间要适当掌握，不能过早，也不要过迟，最好是在韩复榘退却逃跑，日寇正要打进来的时候；接收溃兵的武器，同时也要用说服的方式来动员枪支，号召“有枪出枪”、“有钱出钱”；部队组织起来后，必须积极地向敌人开展斗争，提高群众对部队的认识；部队组织发动后，必须建立政治工作，要建立党的组织，保证党的领导；部队给养，最初可以实行政治动员募集、没收汉奸财产来充实抗日经费，号召“有粮出粮”；部队要有严格的组织纪律，实行“三大纪律、八项注意”，必须做到秋毫无犯；部队组织起来后，必须帮助群众建立抗日民主政权。
1937年11月，中共山东省委书记黎玉代表省委将山东发动抗日武装起义的计划向党中央和毛泽东作了书面报告，中央表示同意，并应山东的请求，先后派来几批优秀干部如洪涛、廖容标、赵杰、韩明柱等，帮助山东组织抗日武装，开展游击战争。从1937年下半年到1938年底，在省委统一部署和各地党组织领导下，在全省范围内，先后爆发了大小20多次抗日武装起义。由于思想、政治、组织等方面准备比较充分，指导方针正确，计划周密可行，这些起义大部分取得了成功。其中较大的主要有以下几个：
一、冀鲁边区抗日武装起义
因地处抗日前沿，冀鲁边区是山东各地抗日武装发动最早的地区。卢沟桥事变后，中共鲁北、津南党的领导人于文彬、马振华等就着手在盐山、宁津、乐陵、庆云等县发动武装。1937年7月在盐山县宣告成立“华北民众抗日救国会”和“华北民众抗日救国军”。邢仁甫任救国会军事委员长兼救国军司令，周砚波任救国会政治部长，崔岳南、于文彬分任救国军政治部主任、副主任，周凯东任参谋长。
新建立的抗日救国军，士气高涨，1937年10月袭击了由沧州出发进犯盐山李家铺、叶茂李一带的千余伪军（即有名的五铺战斗），又在盐庆、盐乐公路两次伏击日军。1938年初，伏击由天津南下的伪军刘佩臣部，并相继破袭津浦铁路，一度收复盐山、无棣、庆云、乐陵、阳信等县城。一连串的胜利，大大鼓舞了群众的抗日热情，大批青年农民和学生参军抗日。至1938年4月，救国军已发展到1700多人，活动地区有乐陵、宁津、庆云、盐山、无棣、南皮、沧县、东光等县。
由于当时的救国军司令邢仁甫对国民党顽固派右倾迁就，使一些土匪地主武装混入救国军行列。救国军名义上有二十几路，实际由共产党掌握的只有刘子芳、李子英、杜步舟、路牟班等领导的第一、二、三路加一个特务团。邢仁甫还热衷于接受国民党委任，把党领导的抗日队伍，当成他个人邀功进身的资本。直到八路军主力进入冀鲁边，第三十一支队（依邢仁甫建议接受的国民党部队番号，全称是“国民革命军抗日别动总队第三十一支队”）改编为八路军以后，邢仁甫还保留了一支200多人的小部队，交他的副司令、国民党中统特务王昭明率领，游荡在编外。不久王率部叛逃，被全部歼灭。
1938年2月，于文彬因手枪走火负重伤去世，冀鲁边与山东省委的联系遂告中断，后与河北省委取得联系。4月，河北省委派杨静远等人到冀鲁边，加强了边区党的领导。
二、鲁西北地区抗日武装起义
卢沟桥事变后，中共山东省委为开展鲁西北的抗战工作，派省委组织部长张霖之主持中共鲁西北特委工作。张霖之与鲁西北第六区专员兼保安司令范筑先将军建立了合作抗日关系。在日军侵入鲁西北、国民党军政要员纷纷携款逃跑，韩复榘连发两次命令催促其撤退的情况下，范筑先仍以国家民族利益为重，决心留在黄河以北守土抗战，并向全国发出了著名的皓电。与此同时，省委也向鲁西北各县派出干部发动武装。1937年10月，首先在堂邑县凤凰集发动抗日武装，成立了“第一游击大队”，洪涛任大队长。1938年初，阳谷、寿张等县发动的武装并入第一游击大队，不久该大队又收编了馆陶、冠县的两支民团约2000人。2月，游击大队改编为范筑先部的第十支队，由张维翰任司令员，张幼平任政治部主任。此后又将东平、汶上一带发动的武装编为第十支队东进梯队，将河南省临漳地方党的武装编为西进梯队。是年夏，第十支队发展到5000余人，成为党在鲁西北地区直接掌握的最大武装。
在此期间，我党还协助范筑先改编了鲁西北的大批杂牌武装，共编为35个支队、3路民军及一些民团，总计近6万人。抗战爆发后的一年中，范筑先率领鲁西北抗日武装力量，同日寇进行大小战斗近百次，打击了敌人的嚣张气焰。1937年12月下旬，范筑先部在高唐、茌平交界处的南镇堵击南下的一股日军，毙伤敌人近200名。范虽年近花甲，但战斗中身先士卒，奋不顾身。在1938年6月15日濮县城北七里堂战斗中，敌人冲至相距只有几十米，部队一度发生混乱，范沉着镇定地指挥反击，并亲自端起机枪向日军猛扫，官兵受到极大鼓舞，个个奋勇逞威，锐不可挡，日军溃逃。范部军事行动中规模最大的战役是8月中旬为配合武汉会战而进行的济南战役，12日攻占张庄机场，烧毁敌机数架，13日攻至纬十一路一带，并对洛口至德州段津浦铁路组织万人大破袭。
1938年11月，济南、德州、禹城3路日军“扫荡”鲁西北，重点进攻聊城。共产党员姚第鸿、张郁光建议范筑先不计一城一地之得失，撤到聊城城外，但因李树春借故纠缠，使范失去了出城时机。此时城内兵力只有司令部直辖部队部分文武官员，总共不过六七百人。经14、15两日激战，终因寡不敌众，范筑先与姚第鸿、张郁光及守城官兵数百人壮烈牺牲。
范筑先牺牲后，鲁西北抗战局面发生了混乱和分化。我党对此及时采取了应变措施，1939年1月，以我党领导的第十支队为核心，组成了筑先纵队，张维翰任司令员，袁仲贤任政治部主任，继续活动在鲁西北平原，坚持了鲁西北地区的抗日游击战争。
三、胶东地区抗日武装起义
胶东半岛是我党工作基础较好的地区之一。1937年12月，日军从海上登陆进攻青岛、烟台等地，胶东地区形势紧张，原胶东特委书记理琪，立即在文登县召开特委扩大会议，决定发动抗日武装起义。24日，以第二次国内革命战争时期保存下来的昆嵛山红军游击队为基础，在文登、荣成、威海边界天福山举起义旗，成立了“山东人民抗日救国军第三军第一大队”，于得水任大队长，宋澄任政委。30日，第三军第一大队在文登县岭上村遭到国民党文登县长李毓英部数百人围攻，宋澄等谈判代表被逮捕，于得水率余部突围，起义暂时受挫。
1938年1月，理琪等赴威海，领导了威海起义。随后“岭上事件”中突围的部队和被捕越狱的干部战士陆续赶来，队伍迅速扩大。为适应部队发展的需要，19日成立了“胶东军政委员会”，理琪任主席，吕志恒任副主席。同时成立“山东人民抗日救国军第三军司令部”，理琪兼任司令，林一山任政治部主任，下辖2个大队、1个特务队。2月13日，理琪亲率第三军，长途奔袭牟平城，俘伪县长以下百余人。当日下午，又与烟台来援的日军激战于牟平城南的雷神庙。战斗中理琪中弹牺牲。
除天福山、威海起义外，胶东其他各地抗日武装也风起云涌，其中规模较大的是蓬莱、黄县和掖县的3支武装。
蓬莱于1938年2月3日成立第三军第三大队，于仲淑任大队长，于眉任政治部主任，不久改为第三军第二路，下辖2个大队，350多人。3月4日、18日两次进攻蓬莱县城，俘伪县长、警察局长等200余人。此后部队扩大到10个大队，近2500人。
黄县于1938年1月初建立第三军第三大队（蓬莱黄县的部队番号一度相同）。2月中旬，在保证军需供给和独立发展的条件下，编为国民党黄县县长王景宋部第二支队。后因王部抗日不足、扰民有余，乃配合八路军鲁东抗日游击第七、八支队，将该部近千人缴械改编。原第三大队400余人编为第三军第四路，李希孔任指挥，陈迈千任政委，仲曦东任政治处主任。
掖县在1937年冬组建了一批群众武装，并与该县国民党员赵森堂的一支武装联合成立“掖县民众抗敌动员委员会”。1938年1月县委又先后争取了全县10个区的大部分区队。3月8日，各路部队汇聚于掖县城北的玉皇顶，翌日攻克掖县城，俘伪县长刘子容及其保安队、警卫队全部。“掖县民众抗敌动员委员会”改名“胶东抗日游击第三支队”，郑耀南任支队长，张加洛任政治部主任，赵森堂任参谋长。5月6日，平度国民党顽固分子张金铭在第三支队拒绝为其改编后，勾结招远、栖霞、莱阳等县土顽部队，悍然进攻第三支队。由第三军、八路军鲁东游击队和第三支队组成“胶东抗日联军”，在夏邱堡一带击溃了顽军主力，消灭张金铭部200余人。此后不久，第三支队又粉碎了内部国民党分子赵森堂等人的暴乱阴谋。9月18日，根据省委指示，第三军与第三支队合编为山东人民抗日救国军第五支队，高锦纯任司令员，宋澄任政委，下辖3个旅、6个团，至此党在胶东各地发动、领导的抗日武装统一起来了。
四、黑铁山抗日武装起义
卢沟桥事变后，中共山东省委为开展长山一带的抗日救亡运动，派姚仲明和廖容标去长山中学任教，争取当地进步人士长山中学校长马耀南，发动群众，进行抗日。12月下旬，日军进攻周村，长山形势突变，党组织认为时机已到，集合了百余人的队伍，于12月26日宣布成立“山东人民抗日救国军第五军”，27日第五军军旗插上黑铁山之颠，廖容标任司令员，姚仲明任政委，赵明新任政治部主任。1938年1月8日，廖容标率部夜袭长山县城，摧毁伪维持会，俘伪公安局长等30余人，缴获枪支弹药一批。19日，在小清河陶唐口附近伏击日军汽艇1艘，击毙日军青（岛）烟（台）潍（县）司令松井山村一行12人，缴获电台1部，国民党中央广播电台播发了这次胜利的消息。2月5日，在邹平县三官庙粉碎了来自周村、邹平等地敌人的报复性进攻，激战竟日，毙伤敌伪军近百名。4月初，第五军为配合台儿庄会战，对胶济铁路西段和张博铁路支线实行大破袭，炸毁日军军车7列，并攻入淄川县城，捣毁淄川县伪维持会。7月，根据中央指示和省委决定，第五军改番号为“八路军山东人民抗日游击第三支队”，马耀南任司令员，杨国夫任副司令员，姚仲明任政委，辖第七、八、九3个团和1个营。8月13日，为配合武汉会战，第三支队一部联合邹（平）章（丘）齐（东）抗日义勇军向日伪军盘踞的济南发动进攻，在黄台桥、青龙桥、西关、南关等处与敌人展开激战，一度攻至普利门附近。此役共毙伤日伪军近千人，受到国民党大本营的通令嘉奖及各大报的赞誉。同年底，第三支队改编为“八路军山东纵队第三支队”。
五、鲁东地区抗日武装起义
1937年10月，中共鲁东工委一成立，即在潍县、昌邑、博兴、广饶、寿光、益都等县恢复和发展党的组织，筹建抗日武装。10月下旬，日寇侵入山东境内，寿光县委在牛头镇召开扩大会议，具体研究了组建人民抗日武装的问题。决定：第一步以各地党支部为核心，以党员为骨干，收集武器，组织抗日游击中队，就地活动；第二步是在日寇大兵压境，国民党政权行将崩溃时，再统一集结编队，宣布起义。12月下旬，日军占领济南后沿胶济路东侵，鲁东一带相继沦陷，国民党寿光县政府一片惊慌。中共鲁东工委于12月29日在寿光县城北牛头镇集合武装举行起义。起义部队命名为“八路军鲁东抗日游击第八支队”，马保三任指挥，韩明柱任副指挥，杨涤生任政治部主任。下辖第一、三、五、七、九中队以及特务队、骑兵连共约700人。1938年1月中旬，发展到近千人。1月25日，起义部队在寿光城西南三里庄设伏，击毁敌汽车1辆，消灭日寇军官3名、士兵1名，缴获军用物资一批。2月中旬，部队又在三合庄一带打垮伪华北治安军散兵一股，缴获步枪70余支。起义部队在战斗中不断壮大，寿光、益都、广饶等地的小股抗日武装相继编入，人数扩大到2000多人。
1938年1月27日，鲁东工委又将潍县、寿（光）东、昌（邑）北、安（丘）北等地的十几股武装集中于潍县蔡家栏子一带举行起义，成立“八路军鲁东抗日游击第七支队”，王培汉任支队长，纪方华任政委。3月25日，第七、八两支队在昌邑北部瓦城会师。4月5日，两部合编为“八路军鲁东游击指挥部”，但原番号和建制不变。该部不久开赴富庶的胶东，与胶东第三军和掖县第三支队一起为蓬黄掖抗日根据地的初步开辟做出了贡献。在这里，第七、八支队的装备供给大大改善，部队发展到6000余人。6月，两支队合编成立“八路军鲁东游击队军政委员会”，原番号和建制取消，但由于习惯，人们仍然对这支部队沿用“七支”、“八支”的称呼。7月，省委命该部开赴鲁南，全军西进。9月，与清河第三支队一起奔袭焦桥（长山县北部），粉碎王尚志、张景南、周胜芳等11个国民党土顽司令联合进攻清河八路军的阴谋，巩固、发展了清河以南地区的抗日局面。同年底，八路军鲁东游击队改编为“八路军山东纵队第一支队”。
六、徂徕山抗日武装起义
徂徕山抗日武装起义是由中共山东省委直接领导的。1937年10月，中共山东省委从济南转移到泰安，与泰安县委汇合，具体部署了鲁中山区发动武装起义和开展游击战争的计划，并派刘居英和孙汉卿分别去莱芜、新泰组织发动武装。12月下旬，日军占领济南后沿津浦路继续南侵，省委即转入泰安城东南的徂徕山区。这时，泰安县委已在徂徕山南麓的山阳、楼德一带组建了“民众自卫团”。12月31日，日军占领泰安县城，省委遂以泰安县委组建的“民众自卫团”为基础，于1938年1月1日在徂徕山大寺发动了武装起义。起义人员除当地“民众自卫团”外，还有省委机关人员、红军干部、平津济南流亡学生及其他爱国人士共150多人。起义部队命名为“八路军山东人民抗日游击队第四支队”，洪涛任支队司令，赵杰任副司令，黎玉任政治委员，林浩任政治部主任，下辖第一、第二两个中队。不久，泰安、莱芜、新泰、泗水、宁阳等县抗日武装相继奔赴徂徕山，第四支队迅速扩大。部队组建后，立即同敌人展开了英勇斗争。1月26日，第四支队在徂徕山南的寺岭庄成功伏击一股日军，继又将俘获的原国民党新泰县长朱奎声处决，从而极大地打击了日军和汉奸的气焰。台儿庄会战期间，第四支队积极配合，在新泰西北的四槐树庄炸毁敌大小汽车2辆，毙敌大佐以下40余名，我军无一伤亡。在斗争中，第四支队不断壮大，迅速扩编为7个中队。
中共中央对鲁中地区的抗日斗争非常重视，1938年1月，中央在给省委的指示信中指出：
“省委工作的中心应当放在鲁中区，开始依靠新泰、莱芜、泰安、邹县的工作基础，努力向东发展，尤以莒县、蒙阴等广大地区为重心。”根据中央指示，2月底省委决定第四支队在新泰县刘杜村分两路活动：洪涛、林浩带领第一、三、四中队编成的第一大队，向淄川、博山、长山一带发展；黎玉、赵杰等带领第二、五、七中队编成的第二大队南向蒙山、费县、沂水一带发展。此后两路部队得到进一步扩大，到4月下旬发展到4000余人。4月28日，第二大队奇袭莱芜城，活捉顽固县长谭远村，缴获大批武器弹药。接着，两路部队在莱芜城胜利会师，并改番号为“山东人民抗日联军独立第一师”，下辖3个团。此后不久，部队又返回徂徕山一带活动。
1938年5月，中央为加强对山东领导，派以郭洪涛为首的50多名干部，携电台两部，辗转到达徂徕山区。根据中央关于山东“基干部队可恢复八路军游击部队番号”的指示，于6月初撤销“独立师”番号，恢复“八路军山东人民抗日游击队第四支队”的番号，并由廖容标继病逝的洪涛任支队司令。
7月，林浩率省委和四支队机关及部分部队东去岸堤、坦埠一带开辟沂蒙山区根据地；郭洪涛率第二、三两个团南下滕县东部支援苏鲁人民抗日义勇队反击国民党土顽势力的斗争；第一团仍留在泰山区活动。不久，第四支队各路部队在岸堤一带会师，集中力量创建以沂蒙山区为中心的抗日根据地。
七、泰西地区抗日武装起义
1937年12月，中共山东省委派张北华、远静沧等到泰西地区开展抗日救亡活动，组成了一支群众武装。12月31日，日军占领泰安县城，泰西党组织遂于1938年1月1日在夏张镇举行武装起义，与此同时，葛阳斋、孙新民等人，也在泰安第九区和肥城第三区发动建立抗日武装。1月11日，各路部队在肥城第二区空杏寺集合，宣布成立“山东西区人民抗敌自卫团”，张北华任主席，葛阳斋任副主席，远静沧任政治部主任。自卫团成立后，立即展开了对日伪军的斗争。24日夜，自卫团从空杏寺出发，冒雪急行50里，一举袭占肥城，俘虏全部敌人20余名，并处决维持会长范维新。28日夜，张北华率60余名自卫团员乘夜摸进界首镇日军营房，用大刀砍死8名酣睡的日军，并毙伤界首车站前来增援的10余名敌人，安然撤离。经过这两次战斗，敌伪胆寒，群众情绪高涨。至2月，部队迅猛发展到17个大队，2000多人。3月，自卫团积极配合台儿庄会战，在津浦路大汶口附近的黑虎泉山峪炸翻敌人的军用列车，毙伤日军30余名，断敌交通10余日。继又炸毁了泰安以北万德车站附近的铁路桥和土门的公路桥，同时袭扰敌人，使之不能迅速架桥、修路，这次破袭又使敌人交通中断10余日。4月4日，自卫团在红枪会武装配合下，在泰安至肥城公路上的道朗镇阻击日军，激战一天，毙伤敌120余人，自卫团政治部主任远静沧在战斗中不幸牺牲。7月，在大峰山地区活动的自卫团一部，于平阴至长清公路上的下巴村，选择山谷有利地形，伏击日军汽车，杀伤日军20余人。同年底自卫团改编为“八路军山东纵队第六支队”。
八、鲁东南地区抗日武装起义
1937年11月，中共山东省委派李仲林、邵德孚等到鲁东南地区开展抗日救亡运动，发动抗日武装。从1937年冬到1938年初，沂水、莒县相继出现共产党员或爱国人士以各种名义组织起来的群众性抗日武装。1938年2月底，按照省委指示，沂、莒两县游击队员共约500人，正式编为“八路军山东抗日游击队第四支队第六大队”，抗大毕业生鲁滨任大队长，邵德孚任党代表，李仲林任政治部主任，下辖3个中队和1个特务中队。4月底，鲁滨调省委，另派红军干部罗积伟、吴坤分任正、副大队长，杨昆任政委。6月，部队进驻莒南垛庄、岳家沟一带，改番号为“八路军山东游击第二支队”，罗积伟任司令，吴坤任副司令，杨昆任政委。不久，省委派景晓村、刘涌来鲁东南，在大店成立鲁东南特委，景晓村任书记。同时，第二支队也进行整编，刘涌任司令员，景晓村兼任政委，李仲林任政治部主任，邵德孚调回沂水县，筹建地方党的机构。整编后，第二支队辖2个营，1个特务连，共700多人。不久部队又收编了日照黄墩乡的地主武装朱信斋部300余人。10月，第二支队开往诸城，打下了瓦店、朱解两个伪据点，在诸胶边活动。后又进驻胶县泊儿镇，向诸城、日照及其外围敌伪军开展军政攻势，年底编为“八路军山东纵队第二支队”。
九、鲁南地区抗日武装起义
鲁南地处陇海、津浦铁路交汇处，历来为兵家必争之地。抗战爆发后，鲁南各地党组织，在省委和苏鲁豫皖边区特委领导下，采用各种方式积极进行抗日活动，组织抗日武装。1937年9月，峄县共产党员朱道南组织了“鲁南民众抗日自卫团”，1938年3月转移到峄县北部山区，与“四川旅沪同乡会战地服务团”合并为“战地服务团义勇队”，同月底又与郭致远等在峄县北部山区组织的一部分武装合并。在此期间，沛县县委书记张光中组织了“沛县人民抗日自卫队”，省委巡视员孙俊才与滕县共产党员李乐平等建立了“滕县人民抗日义勇队”。这些部队创建后，积极寻找战机打击敌人，台儿庄战役和徐州会战期间，组织破袭津浦路和临枣铁路支线，既打击了敌人，又补充了自己，因此发展十分迅速。5月下旬，峄、沛、滕3县武装在滕峄边会师，编为“第五战区游击总指挥部苏鲁人民抗日义勇总队”，总队长张光中，政委何一萍，辖3个大队，近600人。滕县东部地主武装申宪武、刘广田等对义勇队十分仇视，多次制造摩擦。6月下旬，义勇队联合友军，将申宪武部2000余众击溃。为防申部反扑，省委应义勇队的请求，由郭洪涛率第四支队一部，于月底进抵滕县东部支援义勇队。7月，第四支队与义勇队攻克申部老巢冯卯，毙伤俘顽军近400人，但在攻打刘广田老巢东江村时受挫。申、刘进一步勾结滕、峄、费、邹、沛5县顽固势力，包围第四支队和义勇队。第四支队立即撤离北返，义勇队则东进抱犊崮山区活动。在极其困难的情况下，义勇队仍坚持斗争，1938年9月上旬在临枣公路旁的胭脂山伏击，歼敌70多人。八路军第一一五师进入鲁南后，义勇队正式改编为八路军苏鲁支队。
十、湖西地区抗日武装起义
1937年10月，中共山东省委决定成立鲁西南工委，领导济宁、金乡、鱼台、单县、曹县、成武等县的党组织。工委成立后，即在鲁西南各县发动群众，组建抗日武装。1938年2月4日，鲁西南工委和单县县委以单县张寨抗日训练班为基础，成立了张寨抗日自卫团。同年春夏，苏鲁豫皖边区特委在沛县、丰县、砀山等县也组建了抗日武装。6月11日，丰、沛、砀等县和单县的抗日武装在丰县城南的渠楼汇集，编为“苏鲁人民抗日义勇队”，因稍晚于沛、滕、峄等县武装编成的苏鲁人民抗日义勇总队，故称“第二总队”，李贞乾任总队长，王文彬任政委，下辖4个大队。不久，金乡、萧县、宿县等县的部分武装也相继编入，部队扩大到数千人。第二总队建立后，多次寻找战机打击日军，威震湖西。7月，在单县、砀山县边，截击一股日军，击毙7人，缴获汽车2辆。8月5日，在丰县华山镇附近截击日军，毙日军小队长1名，士兵数名。8月23日，奇袭陇海路附近之日军黄庙据点，毙日军21名。同月，在讨伐丰县伪救国军第一军第一师王献臣部时受到挫折，苦战月余，部队减至数百人。1939年1月，第二总队改编为“八部军山东纵队苏鲁挺进支队”，不久又改编为苏鲁豫支队的一部分，坚持在湖西、淮北和豫东英勇战斗，打击敌人。
1937年下半年到1938年底，抗日烽火燃遍了齐鲁大地，北起冀鲁边，南到苏鲁边，东达黄海之滨，西至鲁西平原，各地的抗日武装起义如火如荼。1938年12月27日，中共中央决定，将冀鲁边和鲁西地区以外的我党领导的山东各地抗日部队统一整编为“八路军山东纵队”，张经武任指挥，黎玉任政委，下辖10个支队，近2.45万人。八路军山东纵队与次年入鲁的第一一五师一起，为创建山东抗日根据地，坚持敌后游击战争做出了重大贡献。
