1946年12月3日，敵七十四師在正面排開大量重炮，對解放軍陣地猛轟，又用飛機投擲高爆炸彈。隨后，坦克引導步兵向解放軍陣地發動猛攻。經過兩日激戰，第六師堅守的第一線村莊先后陷落。12月5日夜，王必成發動反擊，但被敵七十四師的重機槍擊退。反擊失利后，王必成迅速總結了經驗教訓，決定以堅守消耗敵軍。他將全師梯次展開，構筑了縱深的野戰工事，節節抗擊敵軍進攻。在9天9夜的血戰中，第六師官兵始終將進攻之敵阻擊在漣水南面。然而，張靈甫進攻漣水南面僅僅是佯攻，正當第六師在漣水城南面苦戰之際，張靈甫親率主力繞道從西面直撲漣水。14日拂曉，敵七十四師主力在城西突然出現，第一道防線當天就被突破。傍晚，第七十四師的兵鋒進至廢黃河大堤。王必成急忙抽調一個旅返城。然而，張靈甫也集中重兵向第二道防線強攻，突破多處解放軍陣地。
15日上午，奉命支援的我第六師十六旅趕到，王必成親自趕赴城西前線，硬是把敵七十四師趕了下去。當夜，譚震林緊急命令我六師十八旅也回援漣水城。
然而，張靈甫抓住王必成援軍未到的戰機，集中炮火向解放軍城西陣地猛烈轟擊，后以營、團為單位連續發起集團沖鋒。
15日中午時分，敵七十四師從漣水西門、南門先后突進城內。經受過嚴格巷戰訓練的敵七十四師，以班排為單位，充分發揮火焰噴射器和火箭筒的威力，與解放軍進行逐街逐屋的爭奪。在敵強我弱的形勢下，解放軍守城部隊在當天下午先后撤退。我第六師主力撤出時，王必成被警衛員和參謀人員強架著北去。
第二次漣水之戰，解放軍共斃傷敵軍8000余人，但自身也付出了重大代價，僅我第六師就有5000多名指戰員血灑疆場。
漣水失陷，陳毅盛怒之下要將王必成撤職查辦，但粟裕了解王必成，認為他是一員不可多得的戰將，主張改為留職檢查。王必成對陳毅、粟裕說:“日后打敵七十四師，絕對不要忘了我王必成的六師！”粟裕當即表態:以后，凡我華東部隊組織殲滅敵七十四師的戰役，一定讓六師參加，一定讓王必成同志參加，并將此命令記錄存檔。
1947年春，山東、華中新四軍進行統一整編，組成華東野戰軍，以陳毅為司令員兼政委，粟裕為副司令員，譚震林為副政委，王必成任第六縱隊司令員。2月，王必成率華野六縱參加萊蕪戰役，創造了一個縱隊在一次戰役中殲敵2.4萬余名的輝煌戰績。5月，他又率部參加了著名的孟良崮戰役。結果，他“指揮所部勇登孟良崮峰頂，擊斃國民黨軍第七十四師師長張靈甫”。
1949年2月，遵照中央軍委的統一命令，華東野戰軍正式改編為中國人民解放軍第三野戰軍，王必成部改編為第八兵團(陳士矩任司令員)二十四軍，王必成任軍長，后任第七兵團兼浙江軍區副司令員、浙江軍區司令員。陳丕顯在談到王必成時曾說:“他是很能打仗的，而且善于打大仗，打硬仗，從不打‘滑頭仗’。他不愧為人民解放軍的一員虎將。”