桓温第一次的北伐在长安城下饮恨而归，又没得到奇才王猛的效忠，所以回到荆州后非常的生气，于是又筹谋进行第二次北伐。
当初殷浩的失败是因为没能跟平北将军羌族首领姚襄处理好关系，几乎将姚襄逼反，所以最后被废为庶人。姚襄当时屯兵七万驻扎在离建康城不远的盱眙，殷浩被废后没多久他就投降了前燕皇帝慕容儁，同时盘踞在今巢湖地区的流民首领郭敞也率众投降姚襄，一时间姚襄兵威大盛。但是姚襄的部队大多数都是北方人，所以纷纷向姚襄建议回兵北方，于是姚襄率军北归，并占领许昌。同年（354年）已经投降东晋的原冉魏徐州刺史周成复叛，并且占领洛阳。此时的桓温正在长安城下与前秦对峙，所以没来的及顾得上洛阳区域，等他回到荆州后便向朝廷上书，请求还都洛阳。
洛阳此时已经在叛军手里，还都肯定是不行的，之所以喊出这个口号其实就是为了向北方那些少数民族展示决心，但是此时的晋王朝已经对北方毫无眷恋之心，可对大权臣桓温的奏疏呢也没人敢反驳，于是只能对他进行安抚，并找各种理由拒绝了请求。
公元356年桓温再次上书还都，晋王朝见他如此的执着，于是便任命他为征讨大都督，都督司冀二州诸军事，让他去讨伐姚襄、周成。不管还不还都，你先把洛阳打回来再说。
公元356年七月桓温派遣督护高武进驻鲁阳（河南鲁山），辅国将军戴施屯兵黄河，自己亲自领兵从江陵坐船出征北伐。桓温坐在大船上北望中原感慨道：神州陆沉，百年丘墟，王衍（永嘉年间的三公级别的高官）这批人要负历史责任的！
对于桓温这样的感慨作者肃然起敬，即便桓温北伐根本上讲是为了自己谋取更高的威望，但是这乱世之中又有几个是真的为天下苍生谋福利的？桓温能将永嘉之乱归类到汉人自己的当政者身上，而不是说什么蛮夷作乱，至少他认识到了问题的根本，如若他能一直保持着这份赤诚之心，即便他成了曹孟德又如何？历史说到底还是那句话“兴，百姓苦；亡百姓苦”。
对于桓温这句话，他身边就有个深得“魏晋风骨”真传的人跑过来反驳道：将军，这些事都是命运兴废，怎么能怪哪个人呢。听了这话桓温彻底失望了，然后狠狠的瞪了这人一眼说：“当初刘表有一头一千斤的牛，草料是普通牛的十倍，但是干活却不如一头老母牛，曹操到了荆州之后就立即把这牛杀了慰劳军士！桓温以牛作比这些魏晋以来这些只会空谈浪费资源的士人。
此时的姚襄正在进攻周成的洛阳，当得知桓温来了之后立即撤兵，并且他想跟桓温耍个小计谋。他先是在岸边的树林里做好了伏兵，然后派遣使者登船跟桓温说：想不到将军您亲自来了，我这就投降，您让大军稍稍后撤一点，我在岸边向您下跪请罪。
桓温也不是初出茅庐的小伙子了，知道姚襄这厮肯定是在耍阴谋诡计，于是很平静的对使者说：我奉命北定中原，到洛阳给皇家宗庙扫墓的，这事跟你没关系。你来不来是你的事，我做我的事，你做你的事，别再派使者来了。
姚襄得使者回报后恼羞成怒，立即在岸边集结军队准备迎战，桓温也不含糊，身披铠甲亲自督战，把姚襄打得丢盔弃甲，一直逃到了邙山。
姚襄这人有点像当年的刘备，对百姓和部下军卒都还不错，所以自从他老爹姚弋仲死了之后的这几年，虽然没打过几回像样的胜仗，但是百姓却都还愿意跟着他。所以他这次战败之后，桓温军队放出谣言说姚襄已经战死，许昌、洛阳一带的百姓都痛哭流涕为他悲哀。姚襄败逃之后他的手下杨亮投靠了桓温，桓温问杨亮姚襄是个怎样的人，杨亮告诉桓温：姚襄的胸襟和才干就如同当年的孙策，而英明神武却更胜孙策。
得知姚襄跟桓温一照面就被打得丢盔弃甲之后，盘踞在洛阳的周成心惊胆战，赶忙跑过来向桓温献城投降，于是桓温进驻洛阳。
桓温在西晋的皇宫太极殿前升起中军大旗，昭告天下晋室又有人回归故都了，随后大军移驻金镛城。然后去给司马懿、司马师、司马昭、司马炎、司马衷等扫了扫墓，并奏请朝廷派镇西将军谢尚来镇守洛阳，留下辅国将军戴施率三千人在洛阳等谢尚的到来。谢尚后来因病不能来洛阳，朝廷又改派王氏家族的王胡之前来。至于姚襄，他后来一路向西跑到了前秦的地界，在前秦的势力范围内招揽羌族、匈奴各部落，声势又逐渐壮大了。但是前秦不能看着他崛起，于是派遣广平王苻黄眉、东海王苻坚、建节将军邓羌等人领兵来攻，姚襄后来被邓羌生擒，之后被斩首，他的弟弟姚苌率众投降了前秦。
处理完洛阳的善后事宜之后，桓温便押着周成，带上收降的三千余户人口班师回到荆州。这次北伐桓温收复故都洛阳，加上他之前平蜀的功劳，他立下了自司马睿南迁之后最大两项的拓土之功。可惜桓温率军撤回荆州没多久，他所收复的中原故土又相继被前燕、前秦等占领，而此时的桓温因为蜀地有叛乱兴起而未能及时前去营救，第二次北伐的成果就此沦丧。
也许前燕南下的时候桓温还有余力去援助中原，但是我们说桓温的北伐之所以与祖逖北伐不同，就是因为当他捞足了威望之后他可以不在乎得而复失的国土。在平蜀之前或者说在第二次北伐成功之前，也许桓温还存有恢复中原帮助晋室定鼎天下的宏愿，但是当他立下了东晋开国以来最大的战功之后，如潮般的赞誉涌来，获得了即便当年扶元帝登基的王导也未能企及的声望之后，他无限的膨胀了，他想从曹孟德变成曹子桓了。于是桓温坚定信心后在这条路上越走越远，这信心可以使他完全忽视自己之前的成果，完全忽视中原的百姓，完全忘记了他曾经的赤诚之心。
晋穆帝升平四年（360年），东晋朝廷加封桓温为南郡公，将其原来的临贺郡公的爵位降为县公授予他的次子桓济（长子需要继承父亲爵位的）。两年后的晋哀帝隆和元年，前燕大将吕护进攻洛阳，之前桓温留守在洛阳的戴施弃城而逃，冠军将军陈佑遣使求援，桓温派庾亮的侄子庾希和竟陵（湖北天门）太守邓遐率军三千前去支援洛阳，并且再次上书朝廷还都洛阳，还要将永嘉年间南渡的士族百姓全部迁回以充实中原河北地区。结果呢和之前一样，朝廷不敢反驳，也予以批准。但是有个叫孙绰的，据说在历史上还以文学家、书法家留了名，他很“勇敢”的站了出来，上书驳斥了桓温的请求，他是这样说的：元帝南迁是符合天意的，长江也确实是上天赐予的防线，永嘉之乱至今已经六十年了，中原地区早就荒芜了，咱们在这儿扎根好几代了都，最早的那批人坟头草都好几丈高了，咱们要是再回去就又把这些祖坟丢在江南了。贸然迁都也不一定是安稳的，我知道桓温将军的话是为了国家大局考虑，但是现在北边一团乱麻，过去就是送死啊。
孙绰的话也许有道理，但是我们从中很清晰的看到了当时的东晋朝廷以及南迁的士族们，早就失去了当年魏武挥鞭的豪情，更没有了大汉时期燕然勒石的血性，而所谓的“魏晋风骨”不过是一帮蛀虫们得过且过的一种鸵鸟生存法则而已！
好吧，我们再来说桓温，他自然不高兴孙绰胆敢反驳他，于是派人对孙绰说：滚回去研究你的《遂初赋》（孙绰大作），别学着人家谈论政治！随后桓温又跟朝廷争取了几次，朝廷都没有答应，他方才作罢。
桓温的强硬使得建康城内的那些官老爷们自然也不高兴，所以想办法削去了他管理的交、广州两州的权力，增加了并州、司州、冀州三州都督的职务，这三州完全不在东晋朝廷的掌控之内，所以拿了也是白拿，桓温索性推辞不要。
