三国时期，合肥被曹操占据，当时由他派大将张辽驻守。东吴孙权为争夺合肥跟张辽进行了大大小小几十次战役，均以失败告终，合肥也因此成为著名的三国古战场。相传曹操(一说郭振)驻军合肥城中，军士到教弩台等演武厅，此小巷为必经之路。军课需要温习，于是小巷内也可见到官兵舞枪弄棒的身影，久而久之，无名小巷也有了名字———操兵巷。