卫辉人没有人不知道望京楼的。明清卫辉府所辖各县百姓，到过卫辉的，一定要来看看望京楼；没到过卫辉的，或多或少也都听到过一些望京楼的故事。凡是途经、旅居卫辉的外埠人等，公干也好，私访也罢，总是怀揣好奇以一睹望京楼为快事。于是，一传十，十传百，知道望京楼的人越来越多。因此，望京楼的名气在豫北乃至更广大地区不可谓不高，作为卫辉的文化符号亦属当之无愧。
望京楼到底是汝王所建还是潞王所建，众说纷纭，反正翻阅历史典籍，元朝没有望京楼，清朝已有望京楼，无论汝王还是潞王，可以确定的是明朝所建，非汝即潞毫无疑问。
但有一点可以肯定，建望京楼好事都与潞王丝毫不沾边，坏事一件也脱不了潞王干系。总之，这么宏伟的建筑，无论是谁所建，当时可能是好大喜功不讨好，留于后人的却是一份重要的宝贵文化遗产，诚如万里长城、京杭大运河等。
卫辉人关于望京楼的传说很多：讲建望京楼起因，说潞王声色犬马，到郊外打猎，跑得腹中饥饿，好似害病，随从从附近小摊为他拿了一个年糕，潞王吃完病好，决定把这好吃食品用船运送给母亲，待由卫河至天津转运北京，全部馊臭，潞王母亲见闻大放悲声，念儿子竟吃这些东西充饥，便打开国库，装满十船金银财宝运往卫辉。
潞王见此更加思母心切，于是要建一座很高很高的楼，以便在卫辉就能望到北京看见皇宫里的母亲。讲望京楼很高，说是中午北面距望京楼十多里的百姓可以借其阴凉歇晌儿（午休）；麻雀从望京楼顶上下个蛋落不到地面就破壳儿飞走了。
讲卫辉人以望京楼为豪，说卫辉、滑县、浚县有三个乞丐夜宿一家小店，为争得一张硬席片，商议讲景比试，滑县乞丐先说：“滑县有座塔，离天一丈八。”浚县的接着说：“浚县有座山，离天三尺三。”
轮到卫辉的乞丐了，他不慌不忙说道：“卫辉有座望京楼，一直修到天里头。”结果是卫辉乞丐胜出。讲潞王建望京楼时没有标准，啥时站在上面能看到北京皇宫里面的皇后母亲，啥时停工，眼见死了许多民工，惊动了南海观音，化身潞王母亲坐在点化于黄土岗的宫殿里，潞王感激涕零方才罢建……。
故事还有许多，像口称“钉大家伙的”神人钉锅匠，钉什么都嫌小，有人戏谑说“望京楼大，你钉吧。”夜深人静时“叮叮当当”在望京楼四角钉了四个大把钜；光绪年间发大水县令以辞官祈祷感动天神退去洪水，发现洪水升天而去，望京楼牌坊顶上竟然挂满杂草等等。
这些都是离奇传说，如“站在楼上望北京”一说，想潞王昏头也不致于到如此地步，他站在太行山上尚且连卫辉县城都看不清楚，相距北京一千多里看得清看不清都不知道？
望京楼实际只是老百姓的俗称，崇本书楼才是本名。作为书楼，它的作用在于：登高望远，驰目骋怀，忘却孤独，御风纳凉，览读弄琴，显示王威，仅此而已。那些所谓的故事，不过是市井百姓赋闲无聊编织的花边新闻，久而久之，成为传说，也成为卫辉人自诩的谈资和之后的人文故事。
