东晋政权建立后，以司马睿为首的统治集团忙着巩固江南的半壁江山，平衡大族间的矛盾，不愿意出师北伐，收复中原。但是，统治集团内部一些有志之士，不甘心忍受国家残破的局面，立志要收复失地。祖逖和桓温就是东晋北伐的代表。
祖逖，字士稚，原籍范阳郡遒县（今河北涞水县境），祖家是范阳大姓，世代都做二千石的官。祖逖年轻的时候，就怀有雄心壮志，他喜欢结交英雄好汉，常与朋友共论天下大事，总是慷慨激昂，义愤填膺，立志将来干一番大事业。他轻财好义，常常将自家的米谷、布帛分给那些穷亲戚或邻居。在他24岁时，他与好朋友刘琨共同担任司州（今河南省中、北部）主簿（秘书一类的官），两人情趣相投，结成莫逆之交。二人经常同睡一张床上，互相勉励鞭策，共同切磋武艺，决心做一番匡复国家的事业。一天，刚睡到半夜，忽然传来雄鸡的啼叫声，祖逖就把刘琨蹬醒，两人便披衣起床，拔剑起舞，这就是成语“闻鸡起舞”的来历。
西晋永嘉末年，中原大乱，匈奴军事贵族刘渊、刘聪的铁蹄踏遍中原大地，京城洛阳失陷，整个北方战火一片。祖逖也和其他大族一样，带着他的宗族、乡亲、部曲等数百家，离开了北方的家乡，向江南逃亡。一路上，祖逖把自己乘坐的车马让给那些老弱病残的人，自己却与大家一起徒步行走，并把自己的药物、衣服、粮食与大家共用，所以深受大家的爱戴，大家推他为行主，就是首领。他们逃亡到泗口（今江苏徐州市），暂时居住在那里。当时移镇江南的琅玡王司马睿任命祖逖为徐州刺史，不久，又调他为军咨祭酒（军事参谋的首脑），祖逖就迁居到京口（今江苏镇江），在那里定居下来。为了实现他恢复中原的愿望，祖逖在京口招募一些勇敢而有胆识的壮士，练习武艺，以备将来之用。
当时，江南之主司马睿还没有称帝，他正在王导的辅佐下进行草创政权，还没有想到收复北方失地的问题。祖逖却不想再等下去，他让司马睿命他为将，派他北伐。司马睿自己虽然不主张北伐，但祖逖的要求是没有理由拒绝的。313年（建兴元年）司马睿只好同意祖逖北伐，封他为奋威将军、豫州刺史，只给了一千人的粮饷和三千匹布，其他兵器一件也不给，让祖逖自己去招兵买马，制造武器，然后再北伐。
条件如此艰难，祖逖没有灰心和气馁，他从建康回到京口，在他的宗族、乡亲、部曲中挑选了一百多家，毅然渡江北上。
祖逖渡江后，驻扎在淮阴（今江苏淮阴），在那里一面进行屯田，准备军粮，打造兵器，一面招募军队，进行训练。很快便组建了一支拥有二千余人的军队，然后继续北上。
当时，在黄河以南、淮河以北的广大地区，主要是汉族地主所建的坞堡组织，羯族石勒的势力刚过黄河，但不很强大，他的主要势力仍在黄河以北。所谓的地主坞堡组织，是西晋末年，西晋的统治已经垮台，胡族军事贵族侵占北方，当时有些汉族地主没有南逃，他们为了自保，在当地组织地方武装，并且修筑城堡，在一起居住。坞堡里聚集的人很多，大的有四五千家，小的也有上千家、数百家。这些人平时耕种粮田，敌人来时，就坚壁自守，抗击敌人。这些坞堡的首领大都由当地的地主担任，也有的是大家选出来的。
当时在黄河以南，淮河以北地区，由于西晋政府已经灭亡，东晋政府的势力还没有达到这里，胡族统治也没有到这里，这地区便成为坞堡主的天下。坞堡的数量众多，他们各据一方，互不统属，有的还互相猜疑、攻打和火并。
祖逖进驻这个地区后，对于那些坞堡主采取区别对待的政策，对那些支持自己北伐的坞堡主采取团结、联合的方针，帮助他们协调相互之间的关系，消除彼此间的隔阂，联合起来，共同对抗刘聪和石勒。对于那些投靠胡人的坞堡主，采取坚决打击的政策。对于那些被迫依服胡人的坞堡主，祖逖允许他们表面上继续担任胡职，内地里为祖逖通风报信。对于抓到的俘虏和胡族的侦察兵，祖逖都给予优厚的待遇。对于那些曾经为胡人做过事，如今又投靠自己的人，祖逖对他们放手任用，不怀疑他们。祖逖的这些政策深得人心，许多人都率乡里亲党来投靠，这就壮大了祖逖的队伍和势力。经过几年的努力，祖逖收复了黄河以南的大片地区，前锋直达黄河沿岸，与石勒对峙。石勒见祖逖势力如此强大，也就不敢窥视河南了，并派人到祖逖的家乡，为祖逖修建他母亲的坟墓。祖逖也派人到石勒处送些礼物，双方以黄河为界讲和，并互相通市贸易。
在收复的地区内，祖逖进行劝课农桑，恢复和发展农业生产，使百姓安居乐业。他自己生活非常俭朴，没有什么财产，就连他的子弟都要亲自种地，上山砍柴。经过一段时间的努力，河南地区出现了家丰人足的欣欣向荣的景象。老百姓对祖逖充满感激之情。
正当祖逖得到广大群众支持，养精蓄锐，准备继续进军黄河以北的时候，已登上皇帝宝座的司马睿为了抵抗长江上游的王敦，派戴渊为征西将军，掌管司、兖、豫、并、雍、冀六州的军务，坐镇合肥。这样一方面可以加强对京城的保卫，另一方面也可以防止祖逖势力过大。祖逖预感到朝廷内部一场大乱即将发生，自己北伐大业难以完成，他忧虑交加，321年（大兴四年）九月，病死在雍丘（河南杞县），年仅56岁。豫州的老百姓闻听祖逖死讯，非常悲痛，人们纷纷为他建立祠堂，表示对他的永久怀念。
祖逖作为东晋政权建立以来第一个进行北伐的人，虽没有恢复中原，但也取得了很大成就，他统一了黄河以南的地区，减轻了黄河南岸人民的痛苦。他的北伐事业最终被统治阶级内部大族的叛乱所葬送。祖逖死后不久，他所收复的淮水、汉水以北地区，又都被石勒占领。
继祖逖之后，东晋政府进行过几次北伐，但最有影响的就是桓温北伐了。在桓温北伐之前，执政的庾氏兄弟曾进行过北伐。
333年（咸和八年），后赵主石勒死，后赵发生了内乱，成帝的舅舅庾亮当时镇守武昌，他认为这是北伐中原的大好时机，于是调兵遣将，准备北伐。他上书皇帝，力陈北伐的有利条件，但皇帝和多数大臣都不同意。郗鉴认为：军备不足，不能大举用兵。蔡谟却说：“敌我水陆各有优势，胡人若来进攻送死，我们战胜他绰绰有余；如果我们放弃长江优势而去远征，这是用我们的短处去进攻敌人的长处，绝不是取胜之策。”
实际上，这些人是反对北伐，只想划江自保，苟且偷安罢了。正巧，庾亮所派出的先锋部队被石虎的部将打败，庾亮见内外都不利，便中止了北伐，不久，庾亮也忧愤而死。
庾亮死后，他的弟弟庾翼继续主张北伐。庾翼很有才干，并且素有北伐灭胡和西伐灭蜀成汉的大志。庾亮死后，他任荆州刺史。343年（建元元年），他上疏康帝，请求北伐，并遣使约北方的前燕慕容皝和前凉的张轨，定期出兵，讨伐后赵。庾翼不顾众人的反对，派桓宣为都督司、雍、梁三州及荆州四郡诸军事、梁州刺史，前往丹水（今河南、陕西之间），桓沮为前锋小督，率众人临淮（今江苏盱眙）。庾翼自己本想率大军进驻襄阳，怕朝廷不许，便谎称到安陆（湖北安陆）。他征发他所统辖六州的奴隶和所有的车马牛驴，浩浩荡荡地从武昌出发。到夏口时，他又上表朝廷，说到安陆太远，牛马没有粮草，请求进驻襄阳，朝廷没办法，只好同意，于是，庾翼率四万大军进驻襄阳，准备以襄阳为基地，进行北伐，并让他的哥哥庾冰镇守武昌，作为后盾。第二年，桓宣进攻后赵失败，忧愤而死，出师不利。接着康帝司马岳和哥哥庾冰相继病死，内外对庾翼都不利，他只好退兵夏口，养精蓄锐，修整军器，储备粮草，以备再战。345年（永和元年），庾翼病死，北伐便中止了。
庾氏兄弟死后，桓温任荆州刺史，都督荆、司、雍、益、梁、宁六州军事，掌握了东晋长江上游的军事大权，他积极主张北伐，为提高自己的威信，他决定先西伐成汉。
