在隆美尔的一生中，抛去其卓越的军事建树，他和夫人露西·莫林（后名露西·隆美尔）女士的爱情故事也为人们所称道，从中也可窥得这位“沙漠之狐”真实的一面。
如果用一个词来形容隆美尔的爱情观，可以用“执子之手，与子偕老”。青年时代的隆美尔性格坚毅，腼腆内向，不吸烟，不饮烈酒，不近女色，始终过着严谨的斯巴达式的禁欲生活。
1911年3月，隆美尔被送进但泽皇家军官候补生学校进修，为期8个月，而他却很少去体验这座海滨城市灯红酒绿的夜风景。那时的但泽常常举行军官舞会，这些青年学生以及一些当地名门的女儿都会被邀请参加。
在一场夏日的舞会中，隆美尔认识了一位名叫露西·莫林的17岁少女，并对之展开疯狂的追求。露西是来但泽学习语言的，她身材小巧，有着拉丁血统、略显坚毅的脸庞和黑色的头发，舞跳得十分出色。她一开始并不喜欢隆美尔，认为他过于严肃，和自己活泼的性格并不相称，但当隆美尔戴起单片眼镜惟妙惟肖地模仿其普鲁士的军官们时，她还是被他逗得哈哈大笑。
两人迅速陷入热恋当中。根据露西女伴的回忆，“隆美尔把露西宠得几近娇纵，他挂在嘴边的话就是‘最亲爱的露，有什么要求你就说吧’，到后来，简直把她宠得像一个泼妇。如果她不喜欢她的哪个女伴，其他人就必须一起排斥。”这样看来，也不难理解当1944年隆美尔夫人和高斯的夫人发生口角后，隆美尔为何不留情面地把高斯赶了出去。
在军校的学习生活中，隆美尔除去日常的学习、操练，几乎把所有时间都用在了给露西写情书上。这个习惯即使是在日后逐日吃紧的北非战场也没有改变。在北非，隆美尔每天都要给露西写一封信，有时甚至是几封。有的信工工整整，倾吐着闲暇时光的思绪，有的则写在文件、日历等部队用品的背面，往往由他口述，副官执笔。
在战争结束后，露西保留着北非期间隆美尔给她写的1000余封信。这些信后来被美军搜查走了。有趣的是，由于落款统统是“你的埃尔文”，所以这些信件并没有被归入隆美尔的材料中，而是另开了一个“埃尔文”的户名。直到战后很多年，这些信件才辗转回到露西手中。
英国媒体曾披露隆美尔有一个私生女，但此消息并未得到德国方面和隆美尔家人的回应。而英军在二战时为了打破“隆美尔神话”，曾经颇费周折地制造各种谣言来降低他在英国士兵心中的地位。依照隆美尔对其夫人颇为有名的深情款款，及其一生恪守的斯巴达式作风，对此传闻持保留态度。
