临沂北屏蒙山，东傍沂河，交通便利，是陇海路以北的军事重镇，也是我滨海、鲁中、鲁南三大战略区联系的枢纽，战略地位十分重要。因此，山东军区决定狠狠打击敢于顽抗的伪军，解放古城临沂。
1945年秋，日本帝国主义宣布无条件投降后，驻临沂城的日军于8月16日逃往枣庄。城内伪临沂第八保安大队许兰笙部和伪费县保安大队邵子厚部，秘密将伪沂州道皇协军王洪九部一部接入城内，企图凭借坚固的防御工事，以及日寇留下的大批武器、弹药、粮食，固守顽抗，与人民为敌到底。
战斗之前，罗荣桓政委亲自作了部署，他向指挥人员阐明了解放临沂的重要战略意义，组建了解放临沂前线指挥部，并决定调用3个主力团和1个地方独立团参战。具体配置是：老四团在城南和城东南一线，山东军区特务团在城东和东北一线，鲁中军区十一团在城西和西北一线，临沭独立团在城西南一线。
8月17日，我军发起进攻，当即占领四关。20日、22日，我军又连续两次强攻。但是由于敌人火力封锁猛烈，进退艰难，伤亡较大。前线指挥部见强攻对我不利，命令部队暂时返回阵地。此后，指挥部即组织部开展强大的政治攻势，昼夜向敌人喊话，这就是广为传颂的“十九昼夜舌战”。
在开展政治攻势的同时，我军在城西北角秘密实施地道作业，以便进行大面积爆破。经过8昼夜的努力，一条100多米长的坑道终于挖成。工兵连夜向坑道里运送炸药2000公斤。9月10日清晨，按照预定计划进行爆破，把城西北的城墙炸开了一个30多米宽的大豁口。接着，我军自晨至午连续两次向突破口进行攻击。因遭正面敌人的顽抗和左右两翼火力的封锁，都没有奏效。11日凌晨1时15分，我军发起总攻，东、南两面佯攻配合，西北突破口主攻。我突击部队冲上城墙，向敌逼近。我军一个战士把一个10公斤的大炸药包塞进敌人工事，将敌人的火力炸哑，我军乘机占领了突破口阵地。敌人连续组织了8次反扑，均被我军击溃。战斗开始向两翼发展。沿城墙所有敌人的掩体和火力点，都被我军摧毁。接着我军向城里各个区域挺进，与敌展开激烈的巷战。敌人受到重大杀伤后，纷纷缴械投降。
11日黎明，经过26天的激战后，古城临沂宣告解放。这次战役除王洪九率少数敌人逃窜外，驻城伪军大部被歼，生俘伪临沂县长韩文龙、临沂保安第八大队长许兰笙、费县县长韩金声、费县保安大队长邵子厚，以及王洪九部参谋陈维章以下2000多人。13日，攻城部队举行了盛大的入城式。罗荣桓、黎玉、肖华于14日发出电文，对攻城部队进行嘉奖和慰勉。