汉王刘邦，在寻找家人的路上，遇到自己的一双儿女，途中追兵紧追不舍，汉王多次准备抛下他的儿女，独自逃亡。幸得夏侯婴忠心护卫，不惜跟汉王急眼，汉王才答应带着他们一块奔逃。幸运的是，最终他们逃脱了楚兵的追赶。汉王派人寻找太公、吕雉，但是没有找到。原来是审食其（也读亦基，刘邦同乡，也是后来吕后所宠信的人物）保护着太公、吕雉从小路逃走，寻找汉王不得，反被楚军所俘，项羽把他们安置在军营之中，正好作为人质。
汉王刘邦经此一役，一败涂地，元气大伤。原来那些与汉军联合的诸侯，墙头草当惯了的，见到汉军这种情况，就有很多再次投靠了楚军：塞王司马欣和翟王董翳首先就判汉降楚了，齐国和赵国也反汉与楚联军。
困难总是不可避免的，困难也是最考验人的。汉王刘邦在面对沛县举事以来最大的考验和困难面前，没有气馁，而是重整人马，重拾信心，准备与项羽做再一次的决斗。
在关键的时刻，刘邦的大舅哥，吕雉的大哥吕泽带有一支军队驻扎在下邑（今安徽砀山），当然之前也是属于汉王统领之下的，驻扎在下邑也应该是汉王实先安排的。汉王就带着随从从小道去找吕泽，并依靠吕泽的这支军队慢慢收集兵马，向西撤退至荥阳，各路败军也被韩信等大将重新聚集起来，并得到了一定程度的休整。这时候，留守在关中的丞相萧何，也征发关中的一些可以当兵的人甚至一些老弱来支援荥阳前线，汉军实力得以增强。楚军与汉军在荥阳南边的京、索之间交战（史称“京索之战”），这次战争是彭城之战后汉军取得的第一次胜利，大大增强了汉军的取胜的信心。这次战争后，楚军基本上就被挡在荥阳一线以东，无法向西挺进，形成了楚汉相对峙的状态。
汉王在退守荥阳的途中经过虞县（今河南商丘）时，接受了张良的建议，利用项羽和英布之间的矛盾，派谋士随何去去游说九江王英布，让他反叛西楚霸王，达到牵制项羽军力的作用。随何带了二十人一道去见英布，英布一开始不见面，后来项羽那边也派来了使者，想让英布发兵击汉。随何就先说服了英布，答应英布归顺汉王就会封王，英布也初步同意了。随何又在项羽派来的使者面前说英布已经降汉，这样英布没有退路，只有杀了项羽派来的使者，举兵反楚。项羽派大将项声和龙且率军攻打淮南（英布驻守之地），最后虽然击败了英布的军队，但是楚军兵力被分散，有利于汉军北方战事的胜利。
这年六月，汉王又立刘盈为太子，大赦罪犯。又让太子驻守在栎阳，那些留守在关中的诸侯子弟也聚集在栎阳，团结在太子身边。又以计引渭水淹没雍王章邯的都城废丘，废丘军队投降，章邯自杀，雍地被平定，于是设河上、渭南、中地、陇西、上郡五郡，有八十多个县。这样战事后方的根据地得以初步巩固。
汉三年，即前204年，魏豹因为讨厌汉王的傲慢无礼，待人不够礼貌，以归家探视双亲病痛为借口，从荥阳回到封地平阳（今山西临汾）后，马上封闭黄河渡口和蒲荆关，反判了汉王，并与楚国订立了和约。汉王来不及发兵攻打，就派郦食其去劝说，许诺如果归降就会封万户侯，魏豹还是不同意。这年八月，汉王任命韩信为左丞相，以曹参、灌婴为大将攻打魏豹。魏豹重兵设在蒲坂（今山西运城永济），封锁了临晋关。韩信故作疑兵，佯攻临晋关，给魏豹的感觉是汉军准备从这里渡过黄河。而派大军偷偷从夏阳（今陕西韩城）用木制的罂缶（一种口小肚大的装水器具）渡河，袭击了安邑（魏故都），魏豹大惊，迎击韩信，结果兵败被俘，魏地被平定。汉王于是把魏地设为河东、太原和上党三郡，让人把魏豹及其家人押送到荥阳。这样，汉军西北部的威胁也已经解除了。
韩信又请求增兵三万，并向汉王请缨愿意率兵北取燕赵之地，东击齐，并向南切断楚国粮道运输路线。汉王如数向韩信增兵，这年的十月，韩信和张耳向东攻打赵国。
这里再来交代一下赵国的情况。前面提到陈余怨恨项羽没有给他封王，于是借来齐兵攻打了曾经的搭档，这时候已投靠了项羽的张耳，张耳兵败，最后投奔汉王。陈余击败张耳后，再次收复赵地，迎赵王歇于代县（今山西忻州），复立赵国。赵歇为答谢陈余，封陈余为代王。陈余考虑到赵歇暗弱，不能主持大局，就没有回到封地，留守在赵国国都辅佐赵歇，而是让相国夏说去代县驻守。
汉王刘邦在号召诸侯之兵攻打项羽老巢——彭城之前，也派人来赵国，游说陈余出兵击楚，但是陈余要求汉军杀死曾经的老搭档，后来又结仇的张耳他们才出兵。汉王杀了一个长得很像张耳的人，用他的首级去骗陈余，陈余以为汉王杀的就是张耳，于是派兵参战。后来汉军被项羽击败，陈余也发现真正的张耳并没有死，于是又背叛了汉军。
韩信和张耳率兵东进，首先打败了代国的军队，在阏与（今山西和顺）擒获了夏说。然后来到井陉（今河北井陉）准备与赵国决一死战。当时汉军的兵力是几万人（精锐已经被汉王调到荥阳前线去了），赵国的军队号称二十万。赵国的谋士成安君李左车（名将李牧之孙）就劝说陈余说，韩信军队虽然只几万人，但是听说他俘虏了魏豹，活捉了夏说，又有张耳作帮手，其势不可小视，但其远道而来，粮草补给势必困难。你但在此坚守不战，另借我精兵三万，从小道去劫其粮道，不出十日，韩信张耳必败。
迂腐的陈余认为“义兵不用诈谋奇计”，意思就是我这人打仗不搞阴谋诡计，另外他还很轻敌：认为我军人数是汉军的数倍，汉军远道而来，业已疲惫不堪，正是我军击败汉军的良机。况且现在不打，不是让诸侯笑话咱胆小嘛，以后人家都来欺负咱咋办？这样他没有采用李左车的建议。
韩信通过密探得知，李左车的建议没有被陈余采用，大喜过望，这才敢率兵进入井陉，在距离井陉关口三十里处暂时驻扎下来。半夜里，韩信选出轻装骑兵二千人，命他们每人拿一面红旗，从小道上山埋伏起来，一旦看到赵军追赶汉军，就冲进赵军营寨，拔掉赵军旗帜，换上汉军的红旗。第二天一早，韩信和张耳又把主要兵力设在河边，与赵军背水而战，由于没有退路，汉军只能死战。那些埋伏在山上的骑兵，看到赵军已经出动，马上跑进赵军营寨，把赵军的旗帜摘下换成汉军的红旗。赵军在河边遇到汉军的死战，一时不能取胜，就想要回到营寨，结果发现自己的营寨插满了汉军的旗帜，以为汉军已经攻破了赵军营寨，于是大惊而乱作一团，韩信张耳趁机派兵夹击，大败赵军，并在泜水（今河北邢台）边斩杀了陈余，活捉了赵王歇。这就是背水一战这一典故的来源。
这样，赵国的问题也解决了。
