这时，日本侵略军正从上海沿太湖两岸，从苏南与浙皖边分头并进，从东、南、西三面，向中国的首都南京迅速包抄围攻过来，只留下北面浦口一条通道，尚未形成合围之势。南京形势危急。蒋介石于1937年11月23日任命唐生智为南京卫戍司令长官，后又任命罗卓英、刘兴为副司令长官，指挥第七十一军王敬久部、第七十二军孙元良部、第七十四军俞济时部、第七十八军宋希濂部、教导总队桂永清部、第二军团徐源泉部、第六十六军叶肈部、第八十三军邓龙光部、江防军刘兴部等，在南京布置外围与内廓两道防线，阻击日军，保卫南京。中国军队多是刚刚从上海战场后撤，残缺不全，仓促整补一些新兵，战斗力不强，但都以保家卫国的热情投入战斗。
1937年12月2日，蒋介石在南京召见胡宗南，打算让胡任南京卫戍副司令长官，协助唐生智指挥南京保卫战，后因故未成，只是让胡率所部归第九集团军总司令顾祝同指挥，担任浦口至滁州一线的防务，保卫南京的后路北大门。
胡宗南知道大战在即，南京不保，特地去拜别中山陵，心中生出无限悲凉与感慨。据一位当时在南京鼓楼附近第一军办事处里见到胡宗南的人回忆说，他见到胡宗南：一个人静悄悄地两手插在裤袋内，在来回踱方步，西式的头发梳得很整齐，草绿色华达呢的军常服，也是笔挺的。……胡先生所给我的直接印象，依然是那么丰神俊朗，意态轩昂。……（胡对我说）：“你总看到报纸了，这次日本人在上海是集中了最炽热的火力，会出乎他们想象的，是我军在上海的英勇抵抗，壮烈牺牲！”突然语气一转，说：“我刚从中山陵来，忽然想起李后主的词：无限江山，别时容易见时难……我们真是愧对总理，愧对领袖。”刘醒吾：《别时容易见时难》，刊(台北)《中外杂志》第3卷第6期。
1937年12月5日，日军向南京外围阵地发动猛烈进攻，惨烈的南京保卫战开始。7日晨，蒋介石飞离南京。8日，日军凭借先进的武器装备，攻抵南京城墙边内廓阵地，战况空前激烈。南京卫戍司令长官唐生智为了表示破釜沉舟、背城借一的死守南京的决心，下令撤走长江中所有的船只，并“指示第一军军长胡宗南，不准南京的人员擅自过江。”谭道平：《南京卫戍战》，刊南京国民政府军委会军令部核准刊行：《南京卫戍战史话》，东南文化事业出版社1946年刊行。
南京保卫战进行了约八天，打得激烈而又悲壮。胡宗南率部驻防浦口，未能参战，只是在12月12日南京保卫战失败后，掩护南京卫戍司令长官部与部分部队渡过长江北撤。据唐生智回忆，在12月11日中午，顾祝同从扬州打电话给他，说：“委员长已下令要南京守军撤退，你赶快到浦口来，我现在要胡宗南在浦口等你。”唐生智：《卫戍南京之经过》，刊《原国民党将领抗日战争亲历记：南京保卫战》，(北京)中国文史出版社1987年版，第4页。
1937年12月中旬南京失守后，胡宗南率部在浦口、滁州一线坚持约十日，直到12月下旬才奉命西撤，年底至安徽寿州，以后经阜阳、固始、潢川，于1938年1月初至河南信阳待命。
