面对解放军越来越强的攻势，黄百韬唉声叹气地对左右说：“……现在是无望了!”“不过，黄百韬并不打算放下武器投降。”徐充回忆，他用无线电向蒋介石表示，决心苦撑待援，苦战到底，不辜负委员长的栽培。
激战至19日，黄百韬兵团固守的碾庄圩外围村落，全部被华东野战军占领。
“这天晚上，黄百韬向徐州的刘峙、杜聿明发出求援急电。”此时，黄百韬的一举一动都逃不过徐充的技术侦察，“他说：‘他们现在已经是危在旦夕，如果援军再不到，就只有来生再见了。’”
“奇怪，这个时候，黄百韬并不急于逃命。”一身百姓打扮的侦察兵徐法全，却看见黄百韬身着将官军服，站在屋顶上，指挥残兵向解放军冲击。
望眼欲穿的援兵没来，12万大军丧失殆尽，黄百韬完全失去顽抗的最后勇气和信心了。
“22日黄昏，黄百韬指挥156师残部，企图向西北方向突围。”徐法全回忆，因为40公里之外，就是企图增援而被解放军阻击的李弥兵团。当黄百韬逃至尤家湖南面的一片苇塘时，解放军“全歼黄兵团，活捉黄百韬”的喊杀声又起。
当时就在黄百韬身边的国民党第25军代理军长、后来被俘的楚轩吾回忆：“黄百韬这时已经完全失去了最初的镇静。他像一头被囚在笼子里的野兽一样。披着军大衣在深沟中转来转去。不许任何人向他转达解放军的劝告和递送打到阵地上来的传单。”
彻底绝望之际，黄百韬拔枪自杀。
楚轩吾回忆：“这一枪他是从嘴里打进去的，因而保持了面部的完整。鲜血翻着泡沫从他嘴里流出来，他两眼老泪横流地看着我，已经什么话也说不出来了。”
楚轩吾回忆：“我将他的头紧紧抱在怀中，他眼睛中的神色在迅速地消失，猛然头一歪，手枪哗啦一声掉在了冻硬的土地上，黄百韬就这样死在我的怀中，我将他慢慢放在地上。脱下大衣覆盖在他的脸上。”
自杀前，拿出名片一张，在背后写上“黄百韬尽忠报国”，交给国民党第25军副军长杨廷宴，请其转交蒋介石。
至此，黄百韬兵团12万人，全部被华东野战军歼灭。
据战后化装逃跑的杨廷宴回忆，黄百韬临死前对他说：“我有三不解：(一)我为什么那么傻，要在新安镇等待第44军两天;(二)我在新安镇等两天之久，为什么不知道在运河上架设军桥;(三)李弥兵团既然以后要向东进攻来援救我，为什么当初不在曹八集附近掩护我西撤。”
对黄百韬而言，他的“三不解”，永远不可能找到答案。在黄百韬的追悼会上，蒋介石痛哭“黄埔精神不死”。
“这是一个笑柄。”王楚英说，因为黄百韬并不是黄埔军校毕业生，蒋介石的意思是希望以黄埔军校生为主的嫡系之中，也有人能如黄百韬一样战死沙场，成全黄埔军校的面子。
具有讽刺意味的是，1个月之后，蒋介石的黄埔好学生——第12兵团司令黄维，就是不“杀身成仁”，活生生地成了解放军的俘虏。
在65天的淮海战役中，蒋介石损兵折将55?5万，将以上军官被俘的就有98人，其中还包括徐州“剿总”副总司令杜聿明，自杀的仅2人。
刘峙逃到南京后，挨了蒋介石一顿臭骂，心灰意冷，带着妻子黄佩芬经上海、南昌、吉安、广州逃往香港九龙，最后逃到印度尼西亚过起了流亡生活。
1953年，刘峙多次找到何应钦、顾祝同，请他们向蒋介石说情，才获准回到台湾定居。1971年，他病死台湾。
围歼黄百韬，华东野战军一些部队也有不小的伤亡。
“这第一阶段最紧张的12个日日夜夜，那是白天必打，夜晚必攻，战斗进行得特别紧张、激烈，伤亡也特别大。”秦镜回忆。
“我们这个团没有百人以上的伤亡或几百人伤亡的代价，是过不了一夜的。”秦镜至今难忘当年的炮火硝烟，“空前的伤亡，为历次战役战斗所少有。”老人回忆：“打完黄百韬兵团下来，我在全团干部、战士庆功大会上讲话，看见我们团每个班，除站在最前头第一名的班长，一般还是穿着我军战前的军衣军帽的老兵外，后面的副班长只有一少部分还是我们的老战士，其他战士都是新补充进来的解放战士。”
多年以来，粟裕和他的夫人楚青谈到淮海战役时，说他紧张过两次，第一次，就是围歼黄百韬兵团……
“第二次，就是后来追击杜聿明集团。”秦叔谨说。
