三国东吴赤乌十年（247年），西域高僧康僧会云游至建业（今南京），吴主孙权亲自为他接风洗尘。会谈间，康僧会恭谨地问：“吴王陛下，贫僧浪迹天涯海角，耳闻目见皆是对佛祖的领扬，但不知陛下为何不信佛？”孙权淡淡一笑，问道：“佛生在西域之国，且早已死去，庙里所供的菩萨，不过是些土偶泥胎，有何可信呢？”康僧会反驳说：“虽佛祖肉身已逝，但佛骨舍利尚在，只要诚心求佛，即可显相。”孙权承诺道：“要是能得舍利，一定为之建塔。”
康僧会当日进入孙权宫中的一间密室，在茶几上摆一只净瓶，闭门默祷，苦心祈求，哭出血泪，20多天后终于望见瓶中闪出五色光芒。一时间佛光共红日并照，圣灯与明星同辉。
孙权闻讯赶来，亲手倒转净瓶，取出13颗舍利子。这些舍利子大放光明，并于光明中呈现出一朵大莲花，照耀宫殿。孙权欣喜地说：“传孤王旨，在江南各地建塔13座。”建在上海龙华寺内的龙华塔就是这13座塔中的一座。
唐末，龙华塔曾一度毁于黄巢起义的兵火。宋太平兴国二年（977年），吴越忠懿王夜泊黄浦江上，发现江岸草莽中瑞光流溢，昏夜一炬，照得大地一片光明，惊讶不已，遂命大盈藏务将张仁泰重修龙华塔。明代冯迁曾写《登龙浮屠绝级》诗赞颂此塔：千年飞塔标沧海，蹑尽高层霁色开。翠盖重重吴树起，青螺点点越山来。贪看佛日浮中界，醉倚人天逼上台。此地别离同浩劫，晚猿昏馨一时哀。
龙华塔是上海地区最古老的塔，也是规模最宏大、知名度最高的塔。据说，龙华塔顶的“露盘”是镇塔之宝。它敞口向上，蓄收甘霖雨露，蕴含天地精华，能防御天旱。平日，露盘中总有两尾金色鲤鱼畅游。
相传，明嘉靖年间，龙华寺曾住过一位行止怪癖的和尚，他少言寡语，外表丑陋，令人生厌。一夜，这和尚突然发疯似地大叫：“贼人盗取宝物，我去追回。”喊罢持杖腾空而去，在云中盘旋一番，悠然落地。龙华寺众僧不解，围拢探问。和尚说：“适才一妖作法，盗走本寺镇塔之宝，被我追至泖湖，以杖击之，那妖心怯，弃宝逃遁。”次日，龙华寺和尚们上塔察看，果然丢失了露盘，再去泖湖寻宝，唯见碧波荡漾，全无露盘的踪迹，后当地渔夫传说，只有泖水浅时，方可见露盘显相，但已很难取出。
