1948年，華東野戰軍山東兵團有兩次進攻兗州的行動。
事實上，1948年全年是解放戰爭最關鍵的一年，不僅標誌著我軍從戰略防禦逐步轉向戰略進攻，而且在重大戰場上也逐漸開始被蔣介石指揮的國民黨軍隊捉襟見肘，不得不拆東牆補西牆。
1947年8月華東野戰軍山東兵團分裂後，主要負責山東戰場作戰，由於范漢傑率領7個整編師集中推進，形勢一度危急，整個膠東地區幾乎失守，但隨著蔣介石調調部分兵力支援中原戰場， 山東軍團面臨的困境得到緩解，連續發動了幾次戰役，都取得了很大的成效，直到1948年夏天，國民黨軍隊撤退到濟南、青島等城市做重點防禦。
為了打通與山東西南部的聯絡，上級指示山東軍團沿天浦鐵路關鍵點從北向南逐步進攻，威脅徐州。 主力解放泰安等周邊地區後，以部分軍隊楔入第2、第10綏靖區的交界處，包圍兗州，伺機引誘徐州國民黨軍北上援軍。
兗州守軍為國民黨軍第10綏靖區整編第12師，師長霍守義，該部原隸屬東北軍第57軍，1941年撤銷第57軍軍號後，該部的兩個師與臨時的第55師改編為第9軍， 直到1944年改組為第12軍，因為蔣介石一直對非**軍系採取壓制態度，當時的東北軍沒有領袖，基本上大部分都被肢解了，只有少數原東北軍後裔部隊，還保留了制度。
第12軍（改組後的第12師）是為數不多的，其實在1948年6月，山東軍團圍攻兗州後，霍守義確實感到驚慌失措，趕緊向綏靖區請求增援，但因為第一次兗州行動，主要是為了吸引徐州國民黨軍隊的北方增援，所以在向徐州方向派出增援部隊時， 山東軍團第7縱隊包圍兗州立即撤退，配合友軍派出增援部隊。
鑑於國民黨軍隊在兗州地區的空虛及其在天浦鐵路上的特殊地位，山東軍團決心拔掉兗州的釘子，以程軍率領的第7縱隊和周志堅的第13縱隊，以及當地部隊共45個團， 它負責進攻兗州。
兗州衛軍第12師在之前的作戰中損失慘重，實際上結構不完善，與兗州地區配合作戰的地方保安團連合時，總共只有12個團大約8萬人，當然最困難的地方不是在部隊裡，而是在兗州本身的高牆上，國民黨軍隊駐紮在這裡的時候，城牆修好了，一些顯眼的地方是用花崗岩和水泥砌成的，第十綏靖區司令員李玉堂稱兗州為“天下第一要塞”。
為了克服兗州城牆厚、攻占難的局面，山東兵團縱隊決定採取單側登陸的辦法，以兗州城西為主要突破點，只留下少量兵力監視城北。 戰鬥一開始，雙方頓時陷入了白熱化之中，雖然整編第12師的整體戰鬥力不是最強的，但在不少雜牌上，還是算是精銳，我軍開啟的突破口被擋了好幾次，更嚴重的是，吳華文率領的整編第96軍從7月1日開始就趕往兗州援軍。
為了加快速度，攻城部隊被炮火掩護，多方突破城防，第十二師師長霍守義明知守不住，隨師部緊急撤離，中途被俘8萬餘人，還順便擴大了戰果，解放了兗州周邊地區，並實現了5個殲敵30,000人的光榮記錄。