沂水城是鲁中山区重要县城之一，是沂青、沂临、沂蒙、沂博、沂莒5条公路的联结点，战略位置十分重要。1939年夏天，日本侵略军占领沂水城后，在南关单独建立了小围子。据点围墙高厚，墙外挖壕沟，中心和四角筑有坚固碉堡。日军在此常驻一个中队的兵力。在沂河西岸建有飞机场一处。城内另筑一大据点，内驻伪县公署知事兼保安大队长牛仙元的8个中队，共800余人。城四周，有黄山铺、匡庄、斜午、武家洼、凤凰头、满堂坡、四十里堡等外围据点。沂水城日军司令部成为沂水、莒县、蒙阴三县日军的指挥中心，成为日伪军对鲁中根据地历次“扫荡”的策划地和兵力集结地。
1944年初，敌人收缩兵力，沂水城及其周围的几个据点陷于孤立，收复沂水城的条件已具备。山东军区指示鲁中军区，把收复沂水城作为1944年夏季第二阶段作战的重要任务。
战斗打响前，鲁中军区进行了紧张的部署和准备。通过新泰煤矿工人筹集了千余斤攻坚用的炸药和与之配套的雷管、导火索。8月15日晚，参加收复沂水城作战的鲁中军区一团、四团，二军分区十一团，军区与军分区特务营，部分地方武装和支前民兵齐集城外。鲁中军区政委罗舜初、参谋处长胡奇才、政治部主任周赤萍及鲁中区党委副书记高克亭在城东安下了指挥所。
22时，战斗打响，各路部队同时发起进攻。担当攻坚任务的四团自城南发起攻击，直扑日军据点东南碉堡。爆破组越过6米宽的外壕，将炸药包放在碉堡下，随着一声巨响，东南碉堡被炸塌。突击队奋勇向前，通过白刃格斗将守敌全歼。16日1时许，日军据点西南碉堡又被炸飞，四团继续向其余3个碉堡进攻。敌除以强大火力阻止我军前进外，又施放大量窒息性毒气，我许多战士被熏倒。到天亮，四团暂停攻击。16日午后，四团一举攻占日军小围子内的东北碉堡。
负责消灭驻城伪军的一团、十一团、特务营，从北门、东门和西门攻入城内，肃清了县府门前街以北、东关街以东全部伪军。牛仙元退守据点内的两碉堡内待援。二团、十一团等部队不顾疲劳，连续攻击，同时施以政治攻势，伪军大部缴械投降。牛仙元率30余人逃跑，全部被我军活捉。至16日午后，城内伪军被全歼。沂水城周围的8个伪据点也全部被拔除。莒县之敌乘8辆汽车驰援沂水之敌，受到我二团的猛烈阻击，丢下6具尸体窜回莒县。
16日夜，四团向日军据点未克的西北和中心大碉堡发起最后攻击，先克西北碉堡。17 日天刚露明，爆破组将35公斤重的炸药包送到中心碉堡下，轰隆一声巨响，炮楼倒地。至此，历时一天两夜的收复沂水城战役胜利结束。
此役，击毙日本侵略军玉井小队长以下33人，俘虏20人。毙、伤、俘伪军1000余人，解放350多个村庄。战斗中八路军指战员牺牲45人，伤200多人。烈士中有红军干部、鲁中军区司令部一科科长徐黎屏，四团营长刘振江。