相传，宋朝宣和年间，吕洞宾路过此地，见山城武冈物产丰富，风景秀美，在沿途的石壁上写下“止戈”两个大字，“止戈”两宇相合，就是一个“武”字，联想起周围起伏的山岗，就是“武冈”的历史内涵。

武冈建置历史悠久，5000年前，人类的祖先就在这里繁衍生息。秦汉建县制。汉文、景帝年间（公元前179～141年）置武冈县，县治今市城区，属长沙郡。

汉武帝元朔五年（公元前124）封长沙定王之子刘遂为都梁候国敬候，候址今市城郊七里桥，世袭历时131年。汉武帝元鼎六年（公元前111年）设都梁县，属零陵郡。

三国吴宝鼎元年（公元266年）复为武冈县，属昭陵郡。宋徽宗崇宁五年（公元1106年）升为武冈军，军治今市城区，属荆州湖南路，辖武冈、绥宁、新宁县。元置武冈路总管府。明洪武元年（1368年）改武冈路为武冈府。明洪武九年（1376年）改武冈府为武冈州，辖新宁县，属宝庆府。明成祖永乐二十一年（1423年）十月，岷王朱鞭（朱元璋第18子）从云南迁武冈州城，翌年建王邸，世袭14代，历时272年。

清顺治四年（1647年即南明永历二年）四月，桂王朱由榔迁武冈，以岷王府为皇宫，改武冈州为奉天府；八月，永历帝败走黔滇，武冈复为州。清承明制。雍正二年（1724年），新宁县直属宝庆府。

民国2年（1913年），9月废州改为武冈县，属湘江道（民国11年，废道直属省）；民国26年，属湖南省第六行政督察区。

新中国成立后，武冈县属湖南省邵阳专区（邵阳地区）。1986年1月，武冈县属邵阳市。1994年2月8日，国务院批准撤消武冈县设立武冈市，属邵阳市代管。