历史悠久，人杰地灵。据考证，早在新石器时代，就有人类居住。西周时期，被称为皋狼之地；春秋时代，属晋，为皋狼之地，也有甲氐国的传说；战国时代，名涅，城邑在今故城镇，先属韩，后属赵；秦代，属上党郡。西汉，置涅县，属并州上党郡，县治在今故城镇，区域包括今武乡、榆社、左权全部及沁县北部、祁县东南部地区； 西晋，武帝泰始年间（公元265年- 274年），涅县分为三县，即武乡县、 镣阳县和涅县，从此始有武乡县之名。西晋时期，由奴隶到皇帝的政治家石勒，就出生在这里。明清时期，出了吏部侍郎任原、工部侍郎程启南、兵部侍郎魏云中和左都御史魏光绪等政界人物，佛图澄、高欢、傅山等历史名人也曾寓居武乡。中国共产党诞生后，参加过广州起义的共产党员李逸山，把革命火种带回了故土武乡。李俊、魏煜、段宏绪、段若宗等志士仁人，为革命事业奉献自己的青春和热血。

因境内有武山和武乡水而得名。其境域大约包括今榆社和武乡县中东部地区。城邑在今榆社县城北15公里的社城镇。西晋时，武乡县、涅县都属并州上党郡。隋义宁元年（公元617年）乡县分出榆社县，其境域形成现在的规模。唐初，武乡县属河东道韩州。唐景云元年（公元710年），恢复武乡县名至今。五代十国时，武乡县先后属后唐、后晋、后汉的潞州。后属北汉。宋初，武乡县属河东路潞州。太平兴国三年（公元978年），武乡县属威胜郡。金代，天会六年（公元1128年），改威胜郡为沁州。 武乡县属河东南沁州。元代，武乡县属中书省晋宁路沁州。 明初，武乡县属山西（省）布政司冀南道沁州。清代，武乡县属山西省冀宁道。民国十九年裁道。武乡县直属山西省。

抗日战争爆发后，1937年9月，山西省划为七个行政区。武乡县属第三行政区，行署驻沁县。1939年7月，日寇侵占白晋路。同年阎锡山制造“十二月政变”。从此，武乡县脱离了旧山西省领导，属太行抗日根据地第三专区（亦称三分区）。1940年6月，日寇侵占段村。为适应对敌斗争形势需要，武乡县分成武（乡）东抗日县和武西抗日县。武东、 武西两县均属冀南太行联合办事处三专署领导。1941年7月起，两县均属晋冀鲁豫边区太行三专区。1945年8 月25日，段村解放。9月，武东、武西两县合并为武乡县。1949年10月，中华人民共和国成立后，武乡县属长治行政督察专员公署管辖。1958年，长治行政区改为晋东南专区，专署仍驻长治。1958年 11月，榆社县和武乡县合并，称武乡县。属晋东南专区。1959年7月，榆武再次分治。1985年，撤销晋东南地区，分设长治市和晋城市， 武乡县属长治市管辖至今。