第二天清晨，楚军摆开阵势，准备破城。项羽一声令下，十万大军如怒涛狂涌般攻打荥阳城。人人都想在项羽眼前建立功勋，百架云梯竖立，楚兵如蚂蚁般爬向城头。
城楼之上，夏侯婴指挥着汉军奋力抵抗，城中除了有汉军十万，尚有数万百姓，知道项羽一旦破城，无人得以幸存，因此年轻力壮之人也随之加入守城战中，一时间城内城外杀生震天，羽箭来去，有如细雨不断。
夏侯婴手持利剑，在城头督战，见楚军顺着云梯直上，下令众军士往下扔石头，砸中的楚军纷纷坠落云梯而亡，但见楚兵的尸体在城下渐渐堆高。
而刘邦则在张良、陈平的陪同下，于城内安抚那些受了伤的士兵，只见到汉军伤亡惨重，一批批兵卒被抬下城楼，刘邦赶紧上前说道：“不用害怕，项羽早已是外强中干，担心的应该是他才对。元帅领大军就快到了，我们只要上下一心，定能守得住荥阳。只要元帅大军一到，咱们即可同心协力打败项羽。”说到动情之处，刘邦情不自禁地手舞足蹈起来。陈平一旁附和道：“楚军区区几万，咱们为何惧怕项羽呢？”受伤的士兵听完，大受鼓舞，有几个伤势不严重的，转身又回到城楼之上，继续迎战去了。
刘邦低声问张良，说道：“张卿家，照这样下去，荥阳很难守得住啊！元帅究竟能不能赶回来，咱们谁也不知，不如，寡人还是试着跟项羽议和吧？”
张良摇头说道：“汉王，正如你所说，项羽知道我大军正在伐齐，此时我们正处于劣势，拿什么条件跟项羽议和？况且汉王不是早已经派人到彭城与项羽商议议和之事吗？换来的却是如今这般大举攻城！为今之计要不投降，要不拼死一击。投降的话就会任人鱼肉，拼死一击或许还有一线生机啊！”
刘邦咬咬牙，说道：“继续打！项羽！寡人与你誓不两立，一定与你争个你死我活。”
张良继续说道：“汉王，相信元帅已经收到王命，只要我们能守得这一阵，援军肯定会到。到那个时候，汉王再提议和之事，也为时不晚。”
此时项庄接到命令，率一万楚军继续攻城，只见盾牌手、长矛手、弓箭手一层一层涌向城关。楚军势众，架起云梯攻城。霎时之间，数十名楚兵已爬上了城头，夏侯婴、曹参等率一队精兵杀出，截杀楚军，不令楚军再次攻上。一时之间，楚兵也没有更好的办法攻入城内。登上城头的楚兵已遭斩杀，十分惨烈，项庄只好暂停攻势。
不一日，项羽收到军情回报，龙且大军全军覆没，无一生还。而此时彭城正受到彭越的滋扰，九江王英布叛楚归汉。
项羽痛心疾首，眼看刘邦就快撑不住了，这时候让自己放弃，说什么也想不通。这时候，刘邦派人送来议和的书简，项羽看都不看，怒道：“刘邦这个卑鄙小人，定是他从中作梗。”转身对钟离眛说道：“立刻传朕军令，继续攻打荥阳，务必在三日内拿下城池。”钟离眛刚要领命下去，项伯急忙制止，说道：“霸王，如今英布、彭越作乱，荥阳城亦僵持不下，拖延下去，未必对咱们有利。打仗最重要是讲时机，刘邦肯议和，是因为汉军主帅一直按兵不动。万一形势有变，汉军主力突然协助刘邦，我们就更加腹背受敌，错失了议和的大好时机啊。”
项羽听完此话，一直默不作声，在帅帐中举棋不定。项庄说道：“彭越不断滋扰彭城，我军粮草不继，霸王不可不防。末将听闻，汉军主帅正率军回师荥阳，一旦刘邦援军一到，我军真的就是骑虎难下了。况且，龙将军龙将军已战死，咱们亦孤立无援。”项羽无奈地点了点头，算是勉强答应。
项伯继续说道：“霸王既然答应议和，为显出我方诚意，是否可以放归刘邦一家老小？”项羽沉默不语，心道：“当日刘邦趁我率军伐齐之际，假借为楚怀王举丧之名，攻打彭城。谁知屁股还未坐稳，被我杀了个措手不及，五十六万大军几乎全军覆没。如今这卑鄙小人必定知道我项羽腹背受敌，这才又重提议和之事。放他一家老小不难，只不过这么就放人，心有不甘！”
项伯见项羽半晌无语，生怕节外生枝，赶紧说道：“霸王，如今刘邦的援军正在赶来，早做打算也好提早撤军，赶回彭城。百姓也就不必流离失所，生灵涂炭了！”
项羽无奈，只好先将刘邦的两位夫人，吕雉与戚夫人放归。至于刘邦的父母兄嫂，依旧暂时扣押，只不过吩咐人好生相待。
第二天一早，吕雉与戚夫人被送回荥阳，一干人等纷纷开城相迎，刘邦喜道：“夫人呐！寡人可把你们盼来了。”随后忙问父母、孩儿的近况，自不必多言。但听得军民夹道欢呼，声若轰雷。
当晚，刘邦在宫中设宴，给自己的两位夫人接风。酒过三巡，陈平说道：“汉王，臣早已草议好议和条款，向楚项羽提出我方要求。”