伊斯兰教初兴时，未有专门礼拜的场所，只是选择一洁净之处供叩拜之用。622年9月，伊斯兰教先知穆罕默德迁徙麦地那时，在城东南3公里处的库巴，修建了第一座简易的库巴清真寺。到达麦地那后，才建造一座正式的清真寺，后称“先知寺”，营建时穆罕默德亲自参加劳动，随后率众在寺内礼拜。
637年，第二任哈里发欧麦尔下令远征将领，凡开拓一个新地区，首先要在该地兴建清真寺，作为宗教活动的中心。据此，欧太白·伊本·盖兹旺于637～638年在伊拉克巴士拉兴建了第一座营地清真寺，638～639年，赛尔德·伊本·艾比·瓦戛斯在库法城兴建了清真寺，642年阿慕尔·本·阿斯在埃及弗斯塔特(开罗)兴建了非洲大陆第一座清真寺；670～675年欧格白·本，纳菲尔在突尼斯凯鲁万兴建了欧格白清真寺。
从此，兴建清真寺被视为穆斯林神圣的宗教义务和信仰虔诚的体现，哪里有穆斯林，那里就建有清真寺。后历经伍麦叶王朝(661～750)和阿拔斯王朝(750～1258)，政府拨巨资修建规模宏伟和华丽壮观的寺院群体建筑，使清真寺遍布亚、非、欧各地。
据历史学家伊本·拉斯塔统计，891年仅巴格达地区就有清真寺3万多座。12世纪中期到13世纪初期，埃及亚历山大城及周围地区有l万多座清真寺，致使阿拔斯王朝时期成为清真寺建筑的鼎盛时期。此后伊斯兰国家将兴建清真寺作为宗教制度和国策之一。
渊源
清真寺世界上第一个穆斯林礼拜的地方是麦地那的先知穆罕默德的故居，当时穆罕默德领导穆斯林在这里做礼拜，一个相当大的院子，中间只有一座小房屋，是穆罕默德的住宅，院子一边树立着一排枣椰树干做的柱子，在柱子和墙之间，覆盖着用枣椰树叶做的凉棚，穆斯林们可以在凉棚荫影下做礼拜，防止曝晒的阳光，穆罕默德在站在房间的门廊里领导做礼拜。
以后清真寺都是仿照这种方式，世界上第一座清真寺是麦加的库巴清真寺，据说是穆罕默德亲自率领人们用四天时间就建成的，《古兰经》中称这座寺是“从头一天起就以虔敬为基础而修建的清真寺”。清真寺内不得供奉任何雕像、画像和供品，只有围绕的柱廊，中心一个大拱顶，主要的墙要向着麦加的方向，墙中间有一个凹下的龛，叫做米海拉布，是指示穆斯林礼拜方向的。
龛中有一座带阶梯的高台，是在主麻日时，为伊玛目站在上面带领诵读《古兰经》用的，叫敏拜尔，诵读古兰经时不得有音乐和歌唱。底下一般铺有地毯，因为穆斯林需要赤脚礼拜。清真寺外面或一进门地方有自来水或喷泉，要求穆斯林净手脸后才能礼拜。
有的清真寺有木隔壁或隔间，以前是为参加礼拜的领袖防止被暗杀，使他们能在其中礼拜，现在有时作为男女分隔用。以前清真寺不允许女性入内，现在比较开明的国家也允许女性参加礼拜，但一般所有的清真寺都不允许非穆斯林入内，认为他们是不洁净的。
由于《古兰经》要求穆斯林每日要做五次礼拜：日出时、正午、下午、日落和夜晚，在古代没有时钟的情况下，很难掌握统一的时间，因此在清真寺外见有宣礼塔，每到礼拜时间，要有大嗓门的人在塔上大声呼唤，有的大清真寺四周有许多宣礼塔，一般为四个，朝着四方。
现代都装有扩音器，不再用人，扩音器音量大，因此有的现代建造的清真寺只有一个宣礼塔。在世界不同地区的清真寺建筑也不太相同，但内部基本一致。中国内地的原有的清真寺都已经采用中国传统的木结构建筑，和其他寺庙相似，唯一区别是采用绿色屋顶，（佛教寺庙用黄色或灰瓦屋顶），西北的清真寺在屋脊上还装有三个立着的花柱，中间一个在顶上有伊斯兰教新月标志。
内地由于穆斯林人口不多，常聚居在一处，清真寺一般没有宣礼塔，西北有的清真寺有建造像佛塔一样结构的宣礼塔，不过顶上装饰有新月。现代新建的清真寺也采用国际流行的大拱顶结构。穆斯林在清真寺内礼拜时要排成长排，跪拜俯伏，以额触地，因此世界各地的穆斯林所用的帽子都没有帽沿，如果戴着有帽沿的帽子，要将帽沿转向脑后，否则不能将额触地。
