1937年1月，红大随中共中央、中央革命军事委员会领导机关从保安(今志丹)迁至延安，改名为“中国人民抗日军事政治大学”，简称抗大，是抗日战争时期由中国共产党创办的培养军事和政治干部的学校。抗大学制从4个月到半年、8个月、1年、3年多不等，这些毕业生很快就成为新组建的八路军和新四军的骨干。
1939年上半年，根据地的条件日趋困难:国民党当局发布了“限制异党活动办法”，胡宗南所部三面包围了陕甘宁边区，投奔延安的青年减少了;从黄河对岸，日军不停地炮轰边区吴堡县的宋家川。根据以上情况，中共中央决定实行“敌进我进”的方针，组织青年学生跨过黄河，开赴晋察冀等敌后根据地。6月21日，罗瑞卿主持召开抗大党的活动分子大会，宣布党中央《关于抗大陕公等学校迁移晋东南的决定》时指出:抗大上前线，给日本法西斯企图进攻边区一个有力的回答，给反共分子、摩擦专家一个有力的回答，给全国学校做个模范，给全国人民一个信心。
7月10日，抗大总校、陕北公学、鲁迅艺术文学院等校的师生8000人，组成八路军第五纵队(后称青年纵队)，在司令员兼政委罗瑞卿率领下，分成三个梯队，开始了向敌人后方的进军。日伪听说八路军从河西调来了“大部队”，加强了戒备。8月初至9月底，几经周折，在一二O师三五八旅部队的掩护下，罗瑞卿指挥三个梯队终于通过了封锁线，行程2500余里，于9月底抵达河北省灵寿县陈庄，在抗大被称为“小长征”。挺进敌后的路上，每当过封锁线时，罗瑞卿总是走在队伍的前头，一边亲自指挥，一边做鼓动工作，并组织人员扶助女同志和生病、体弱的同志。
1939年12月上旬，挺进敌后的工作刚刚告一段落，罗瑞卿就在陈庄主持召开抗大第三次党代表大会。根据党中央、中央军委的指示，针对抗大存在的问题，他强调加强党的领导和党的工作，巩固党的组织，加强阶级教育与马列主义教育，转变学生的思想，把知识青年训练成为掌握马列主义，具有纪律性、组织性，决心深入下层、接近工农的八路军干部。
1940年1月1日，罗瑞卿主持抗大第五期毕业典礼，13个连队的毕业学员分配到晋察冀军区和一二O师部队工作，极大地优化了聂荣臻部和贺龙部的干部结构。2月10日，根据党中央指示，他又率领抗大总校从陈庄出发，徒涉滹沱河，过正太路封锁线，经南障、和顺、辽县，于20日抵达武乡等地，完成了挺进晋东南的任务。对这次挺进，罗瑞卿曾戏称之为“小小长征”。对这样的长途远征，一些同志感到不理解，曾问罗瑞卿:都是抗日，在河北和在山西还不是一样，干嘛劳师远征呢?针对上述问题，罗瑞卿于1940年3月25日在《新华日报》发表题为《论建立抗大在敌后方的意义》的文章进行了全面的回答。他指出:转移大大增强了敌后抗战力量，将创造出更多更好的干部，解决了八路军、新四军对干部的需要的同时，也证明了抗大这个中国共产党领导下的学校始终站在抗日斗争的最前线。
