其在古代，由于科学欠发达，人们都比较迷信，他们都觉得给死刑犯行刑是一件十分晦气的事情。这个时候，由于死刑犯马上就要死了，所以阴气特别的重，如果处理不好，后患无穷。因此，一般情况下处决犯人都要选在午时三刻，太阳最大的时候。这还不够，菜市口由于人流量巨大，所以也是阳气最为鼎盛的地方，选在此处行刑可以压制阴气。
还有一个原因其实就是所谓的“杀鸡给猴看”，古代选择在闹市对死刑犯斩首多是起杀一儆百的目的，可以对围观的老百姓起到警示、震慑的作用，清朝菜市口就在宣武门外，来往的老百姓众多。另外京城内城（九门之内）大都是王公贵族的府第，在内城杀头这么不吉利的事显然不会得到同意。只好在外城，但又不能离内城太远（离城太远看热闹的人就少了）。所以就只好选在离内城很近的菜市口。
使菜市口名声大振的主要原因，是清政府将杀人的刑场从明朝时的西四牌楼(当时叫西市)移至宣武门外的菜市口。据说当年的刑场就设于今天的菜市口大街北侧十字路口附近，每到冬至前夕对判为“秋后问斩”的囚犯执行死刑。死囚在天亮前被推入囚车，经宣武门，走宣外大街到菜市口，囚犯由东往西排好，刽子手手执鬼头刀也依次排列，头被砍下来后，挂在或插在街中木桩子上示众。
清咸丰末年(1861年)“八大顾命大臣”之一的肃顺和光绪二十四年(1898年)戊戌变法“六君子”都是在菜市口被杀害的。以后“菜市口”逐渐成为“刑场”的代名词。1911年随着清王朝的灭亡，刑场被转移。以后这一带逐渐成为宣外大街最繁华的商业街和交通枢纽。
沿街菜摊菜店众多，所以四九城的许多人都来此买菜，并把菜市最集中的街口称为菜市街，清代时改称菜市口，此名一直沿用到今日。
慈禧太后发动宫廷政变夺得政权，实行首次垂帘听政时，受咸丰皇帝遗诏的八位赞襄政务大臣中的肃顺，就是在此被杀头的。戊戌变法失败后，慈禧将谭嗣同、刘光弟等志士同仁杀害于此。
据马芷庠编写的《北平旅行指南》记载：每逢秋后朝审，在京处决犯人众多之时，由东向西排列，刽子手执刀由东向西顺序斩决。所用鬼头刀五柄、凌迟分尸刀十柄，现存于历史博物馆。旧时，犯人被押出宣武门(顺承门)，过断头(魂)桥，经迷市，送往菜市口法场，就不可能有生还的希望了。犯人被杀后，尸体被人运走，血迹即被黄土垫盖上。
