第88师副师长冯圣法、参谋长张柏亭，上海市政府秘书长俞鸿钧，上海警备司令杨虎等为安排孤军撤退，曾同负责租界驻军的英军司令斯马莱特进行交涉，双方达成协议：由英军压制日军火力，孤军通过西藏路，从新垃圾桥进入租界，然后搭乘英军汽车到沪西归队。31日凌晨，谢晋元率孤军开始撤退。壮士们敏捷地冲出大楼，由新垃圾桥进入租界。谢晋元自己最后一个离开仓库阵地，杨瑞符营长身负重伤，住院治疗。
谢晋元率八百壮士成功地撤出四行仓库，退入租界，正准备从沪西方向归队，继续与日军作战时，租界当局迫于日军关于若租界准许孤军通过，日军也将通过租界追击孤军的威胁，违背诺言，要收缴孤军的武器，车运胶州路羁留。八百壮士群情激愤，声言武器为军人的第二生命，决不能离手，宁愿重返四行仓库，继续固守到底。双方僵持不下。经过多方周旋，租界方面表示，这仅是替孤军代为保管武器，定点明数量出具收据，绝非缴械。八百壮士为顾全大局，忍辱负重，被车运胶州路孤军营。租界当局摄于日方压力，不敢释放孤军归队，同时也拒绝了日方关于引渡孤军的无理要求。这样，八百壮士被羁留在孤军营。孤军营占地数十亩，地面坑坑洼洼，垃圾满地，住房十分简陋，营地四周铁丝网高架，由白俄士兵把守，壮士们只能在铁丝网内活动，实际上是一个俘虏营。
身处逆境，但八百壮士誓死抗日的信念没有动摇。壮士们把孤军营生活当成另一种形式的战斗，通过自己的言行，“使友邦从我们身上看出中国军人之气概，从此认识中国的真精神。”来到孤军营的第二天，谢晋元在接见中外记者时表示：“倭寇与我们势不两立，我们存在一天，决与倭寇拼命到底。”在条件艰苦的孤军营，八百壮士在谢晋元的率领下，仍然过着严格的部队生活，早操、值勤、站岗，从不间断，并自力更生进行生产。他们进行严格训练，准备随时报效祖国。为激发爱国热情，他们还每天举行精神升旗典礼，表达了他们对中华民族的无限忠诚。
1937年11月12日，中国军队全部撤出上海，日军军包围了租界，孤军营成为孤岛中的孤岛，也成了上海抗战的最后精神堡垒。有一段时期，孤军营未被限制普通人的出入，上海同胞可以随便和孤军接触，在通往孤军营的路上，每天人来人往，络绎不绝，如同圣徒们拥向圣地一般的景象。
1938年8月，时值上海“8·13”抗战周年纪念日，孤军向租界当局提出要求在孤军营内悬挂国旗，以示纪念。租界当局多方阻挠，企图阻止纪念活动。几经交涉，租界当局被迫同意升旗，但要求将旗杆截短，与营内礼堂屋顶相齐，避免日军看到。11日，孤军举行了庄严的升旗典礼，国旗在营内飘扬。上海同胞望见，无不感奋流泪。租界当局见状，害怕得罪日本人，派万国商团的白俄队冲入孤军营，欲强行摘下国旗。手无寸铁的孤军奋力抗争，手拉手地筑起人墙，围在旗杆下。白俄士兵开枪射击，孤军为护旗当场牺牲4人，负伤11人。白俄队还将谢晋元等部分军官挟持到车上，拉至外滩幽禁起来。为此，孤军全体官兵绝食抗议，上海同胞亦愤慨万分，罢市3天，声援孤军，要求将谢晋元等送归孤军营。8月13日，中国共产党在汉口出版的《群众》周刊上撰文：“向羁留在沪坚持奋斗的八百壮士致诚挚慰问之意。”17日，租界当局迫于各方压力，同意谢晋元等人回到孤军营。
随着上海形势的变化，日伪活动日趋猖獗，他们对谢晋元等威逼利诱，企图使其变节，但谢晋元毫不动摇。敌人见利诱不成，便准备下毒手。1941年4月24日清晨，谢晋元率部早操时，遭被敌人收买的孤军内部叛徒郝某等4人突然袭击，不幸牺牲。谢晋元殉国后，孤军悲愤万分，失声痛哭，叛徒当场被抓获，受到惩罚。噩耗传出，上海人民震惊至极。4月25日，举行遗体棺殓仪式，前往吊唁者达10万之众。中外报刊纷纷报道消息，表示哀悼。国民党政府于同年5月追晋谢晋元为陆军少将。解放后，上海市人民政府褒扬他“参加抗日，为国捐躯”的精神，并为他重修坟墓。
太平洋战争爆发后，日军于1941年12月闯入孤军营，拘禁了全体孤军，并将他们送往吴淞口看管，4年的孤军营生活至此结束。此后，日军对孤军进行了百般残害，强迫孤军挖壕沟，做苦工，后来又将他们押往南京老虎桥监狱。即使在这种残酷的环境中，八百壮士仍表现出不屈不挠的精神，与敌人展开斗争。为瓦解孤军，日军仍将八百壮士分散看管，并将其中一部分押往杭州和南洋做苦工，直至抗战胜利，幸存者才恢复自由。
