大约公元前1000年左右，大卫王将约柜带到耶路撒冷。约柜的存在令这座城池成为以色列国家政治、宗教的中心，帮助大卫统一了犹太各部落。公元前957年，大卫的儿子——所罗门，在此修建了第一座圣殿。约柜就被敬奉在圣殿内殿整个寺庙最神圣、隐秘的场所，只有最高级别的神父在赎罪日期间能够进入。
圣经中最后一次提到约柜是在耶利米书3:16一段，“耶和华说：‘你们在国中生养众多。当那些日子，人必不再提说耶和华的约柜，不追思、不纪念，不觉缺少，也不用再制造。’”。公元前586年，巴比伦国王尼布甲尼撒二世，大举进攻耶路撒冷，摧毁了圣殿，继而奴役希伯来人。不过，在圣经中列举的被巴比伦人带回本土的所有战利品中，并没有提到约柜，这个暗示表明，那时，约柜已经失踪了。
圣石清真寺
一些学者认为如果约柜仍然存在，最可能可以找到它的地方就是圣殿内殿的原址地下。如今，位于这个遗址之上的，是圣石清真寺。圣石清真寺的选址，是根据伊斯兰教中，“先知穆哈默德从这里升入天”。而该地点在犹太人的传统中同样至关重要，此处正是亚伯拉罕将以撒献给上帝的地方。这片共属两个宗教的圣地，是世界上政局最不稳定的城市之一，考古学家在此动土，无异于制造争端，因此挖掘约柜几乎是不可能的。
也有人对此观点不以为然，因为据记载，公元前1世纪，约律王在翻修后建于此的第二座圣殿时，曾经大动土木，掘地三尺，一直挖到了岩床，并未发现约柜的踪迹。所以，无论是约柜，还是任何所罗门旧圣殿中遗留下来的物件，都不可能完好埋在遗址之下，保存至今。
埃塞俄比亚
有关约柜流传到耶路撒冷之外的传说也不计其数。1936年，一则新闻透露，法国一家保险公司接到中东一个神秘组织的投保，声称那个神秘失踪的约柜就藏在战火绵延的埃塞俄比亚，因为担心其在战争中意外受损，特意投保。
这个故事从来没有被证实过，但是勾起人们对13世纪一个民间传说的回忆。据说，巴比伦入侵、掠夺圣殿时，约柜被事先偷运出耶路撒冷，由所罗门的儿子麦勒尼科冒着生命危险安全转移。麦勒尼科带着约柜来到埃塞额比亚他的母亲示巴女王的故乡，并留在那里，成了是埃塞额比亚王朝的奠基人。如今，埃塞额比亚正统的基督徒都相信约柜就保存在阿旭目的圣玛利亚教堂。不过，传说中保存约柜的圣地，由一个神父守候，外来人不能进入，因此，约柜是否存在无法证实。
启示录的基督徒并不用担心约柜的下落，因为他们知道，按照新约的记述，它总有一天会重现人间。圣经启示录11:19中写道：启11:19当时，神天上的殿开了，在他殿中现出他的约柜；随后有闪电、声音、雷轰、地震、大雹。
