古代就有手语的存在，并非专为聋人所有，古人靠手势来传达沟通意见，而后才慢慢产生语言。古人以打猎耕种为主，社会上需要遵循的规则也少，因此聋哑人较能适应生活，但文化发达后社会进步，抽象的符号也多，为了适应社会生活，只好藉手语来表达沟通情意了。
手语历史悠久，但是正式的聋哑教育却是四百多年前才发展的，可考察到的是法国第一位伟大的聋教育家德雷佩神父，为了需要，自己创造发明手语以利管训工作。到了1760年他的收容所改为国立聋校，他被任命为第一任校长，他的助手认为应该编手语字典，也花很多时间致力于手语编辑工作，可惜手势太复杂，不能广泛被人使用，何况一个字有时往往需要用许多手势方能解释清楚，尤其抽象的表达更难，所以在1880年后只好改用口语法教学。
美国在1817年设救济院，收容聋者并开始使用手语。日本也在1880年于东京设立第一所聋人学校，而后大阪、京都也都相继成立聋校。1895年起台湾被日本人占据50年，在这段期间日本人在台湾的台南、台北成立聋校，所使用的手语大多是东京、大阪型。
1887年美国传教士梅耐德夫人，在大陆山东成立启瘖学校，她采用口语教学，出版一套用贝利字母拼音编辑的《启瘖初阶》读本，聋人间也有他们使用的大陆型手语，而且广行于北平、上海、南京和广东，甚至香港各地。
1945年台湾光复，在台的日本老师被遣送回国，1949年大陆解放后，有些大陆聋校的老师栈台北启聪任教，于是台北混合了一些大陆语。左营启英聋校姜校长毕业于大陆启瘖学校，则采用大陆系手语。再加上聋胞散居各地，北、中、南三所聋校地区隔离，于是聋人所使用的手语逐渐现差异。
2018年7月1日，中国实施《国家通用手语常用词表》和《国家通用盲文方案》作为语言文字规范发布。
