洪武二十年（1387 年），朱元璋认为锦衣卫有滥用职权，依势作宠之态，便此时至洪武二十六年（1393年）将内外刑狱从锦衣卫职责中废除，交由法司处理。
朱元璋设立锦衣卫的初衷就是强化君权，清洗功臣，经过胡蓝之狱及郭恒案、空印案的洗礼，开国功臣基本被一网打尽，剩下的再也没有威胁，锦衣卫这把快刀，也到了封存的时候。从洪武十五年朱元璋设立锦衣卫到洪武二十六年裁撤锦衣卫，锦衣卫仅仅存在十一年，就被废除。
再看看锦衣卫的首脑们——锦衣卫指挥使的下场如何。第一任锦衣卫指挥使是毛骧，他是朱元璋自身边得力的武官中提拔。毛骧深受朱元璋信任，他也不负所托，胡惟庸案杀得人头滚滚，光是开国的公爵、侯爵就被杀了二十几人。毛骧最后的结局，是被指认为胡惟庸余党而被捕，并因此被杀，很好地诠释了“玩刀者必死于刀下”这句话。
毛骧的继任者是蒋瓛，他同样兢兢业业，完成了前任还没清理干净的胡惟庸余波，同时又开启了另一桩大案——蓝玉案的前奏。
不过这时候，锦衣卫已犯了众怒，加上权力越来越大，连朱元璋本人也认为锦衣卫有滥用职权，依势作宠之态，于是从洪武二十年开始，逐步削减锦衣卫的权力，直到洪武二十六年，最终将锦衣卫裁撤。
至于蒋瓛的命运，和毛骧如出一辙，为了表扬他的辛劳工作，朱元璋给予了他与前任毛骧同样的赏赐——掉脑袋。
如果说锦衣卫是朱元璋的一块抹布，那锦衣卫指挥使就是抹布上最脏的那一处，无法见人也无法洗白，只能挥刀截断，两位指挥使人头落地即是明证。
在锦衣卫命运的背后，其实是王权与相权的对立。胡惟庸是中国历史上最后一位真正的宰相，在他被杀之后，实行了1000多年的宰相制也被废除，朱元璋达到了他大权独揽的目的。锦衣卫，只是他达成目的的工具而已，当无人可以再威胁到皇权，锦衣卫也就没有了存在的必要。
这一点，在之后朱棣再次重设锦衣卫也可以看出，朱棣同样需要有人帮他干上一些不甚光彩，见不得光的事，曾经大放光彩的锦衣卫自然就成了最好选择。
朱元璋看到锦衣卫很有本事，感到很欣慰，可是朱元璋的疑心病又犯了。锦衣卫权力日益增大，百官莫不害怕。朝廷上百官是不敢结党营私了，可是也少了敢于积极上谏的大臣，多了很多虚与委蛇的大臣，这明显不利于国家发展。
朱元璋想必也知道，锦衣卫权力过大将会造成不良影响。同时锦衣卫负责人也在害怕一件事，百官不干坏事了，锦衣卫会成为摆设，不仅没有油水捞，将来还会被清算。于是那段时间，锦衣卫制造了许多冤案，来体现自己的价值。所以，朱元璋再三考虑之下，在洪武二十年，废除了锦衣卫。
锦衣卫就像一把双刃剑，用得好可以制约百官，用不好，就会造成人心惶惶，百官无心工作，不利于国家发展。
综上所述，朱元璋为了制衡百官设立锦衣卫，要办的事处理完了，同时畏惧锦衣卫权力过大，影响国家发展，怕锦衣卫内部腐败，制造冤案，于是便废除了锦衣卫。
