王敦之乱平定后不久，明帝司马绍病死，子司马衍继位，即成帝，年仅四岁。王导与成帝的舅舅庾亮辅政，因实权都掌握在庾亮一人手中，这引起了因平定王敦之乱有功而拥有精兵，守卫江北的冠军将军苏峻的不满，他勾结豫州刺史祖约，发动了叛乱。
苏峻，字子高，长广掖（山东掖县）人，他出身寒门。西晋末年，他聚集本县数千家，建起坞堡，保护自己和乡里，后渡江，归附东晋。因参加平定王敦之乱，被封为冠军将军、历阳内史。他拥有一万多人的精锐部队，武器装备也十分精良，很有军事实力，东晋朝廷就把镇守北部边境的重任交给了他。苏峻有着这样的军事资本，野心也就越来越大，不断地招集那些亡命之徒，扩充自己的势力，图谋不轨。掌管朝政的庾亮感觉到苏峻越来越骄横难制，早晚都将成为祸乱，便想夺去他的兵权。庾亮想调苏峻到中央为大司农（主管农业的长官），苏峻拒不应召，于327年（咸和二年）十一月，勾结豫州刺史祖约，以讨伐庾亮为名起兵，渡江南下。
祖约字士少，范阳（今北京市）人，东晋北伐名将祖逖的弟弟。祖氏也是范阳大姓，永嘉末渡江。祖逖死后，祖约代祖逖为平西将军、豫州刺史，统领祖逖的部队。因平定王敦之乱有功，被封为镇西将军，屯驻寿阳（安徽寿县），负责守卫东晋的北部边境。祖约出身北方大族，论名望不低于尚书令卞壶和车骑将军郗鉴，可是卞壶、郗鉴在明帝死时，都成了顾命大臣，而祖约却远守边境，因此心里充满怨恨，这就是北方大族中渡江早晚的矛盾。所以他和苏峻起兵反抗。
苏峻、祖约联军渡江南下，直逼建康，328年2月，攻下建康，并且攻下建康附近的一些郡县，声势浩大。苏峻进攻建康时，在建康城中放火，衙门、寺庙等都被烧尽。城陷之后，放纵士兵大肆烧杀抢掠，残暴已极。苏峻部队所到之处，没有不残破的东西，给东晋政权及江南经济造成严重的创伤。
苏峻占据了京城，自封为骠骑大将军，钅录尚书事，总揽朝中军政大权，东晋王朝处于危险之中。在苏峻进攻建康时，执政的庾亮逃到江中刺史温峤军中，他以太后的名义，下诏令荆州刺史陶侃和江州刺史温峤联合起兵，与庾亮一起共讨苏峻。温峤和陶侃联合率兵4万，进攻建康，同时，徐州刺史郗鉴也在广陵起兵。王导又以庾太后诏，令会稽内史王舒、庾亮的弟弟庾冰等在三吴起兵。三路大军会攻建康，328年（咸和三年）秋，联军攻占石头城，苏峻战死。苏峻的弟弟苏逸率领苏峻的部队继续守建康。329年2月，苏逸兵败被斩，祖约无法抗拒东晋将领的进攻，率亲信数百人北投石勒。石勒看不起他的为人，便将祖约及其亲属一百多人全都杀死。
苏峻、祖约叛乱被平定，东晋政府收复了建康。苏峻、祖约之乱充分反映了东晋政权内部大族与庶族及北方大族渡江早晚之间的矛盾。在东晋政权内部，大族间的各种矛盾到此并未结束，在桓温、谢安死后，司马道子、司马元显执政期间，矛盾再度爆发，发生了王恭、桓玄之乱。
继庾氏执政之后，朝廷大权又落到了徐州刺史桓温手中。桓温字元子，谯国龙亢（今安徽怀远西）人。桓氏乃北方有名的大族，桓温是明帝女南康长公主的女婿。他雄才有韬略，庾翼曾对明帝说：“桓温少年雄略，愿陛下不要以平常人对待他。”
桓温是东晋朝廷中比较有作为的一员干将，他看不起那些碌碌无为的大族，他带兵西灭李氏在巴蜀所建的成汉政权，并进行过三次大规模的北伐，所以在东晋政权中威信很高。他以侍中、大司马、都督中外诸军事、扬州牧、录尚书事的身份，执掌中央朝政。他派他的弟弟桓豁、桓冲分别掌握东晋上游荆州、江州的军权，桓氏势力非常显赫。握有重权的桓温开始有不臣之心，图谋篡夺皇位。他曾这样说道：“既然不能流芳后世，何不遗臭万年？”
371年（太和六年），桓温废掉司马奕，立简文帝司马昱，以便夺权。作为傀儡皇帝，司马昱在位只有一年多，便忧愤而死。由他的儿子司马曜继位，即孝武帝。桓温希望简文帝临死将帝位禅让给他，或者让他像周公一样摄政，可简文帝没有这样做，只让他像诸葛亮、王导那样辅政。桓温目的没有达到，非常气愤，他便逼朝廷加赐他“九锡”（这是权臣禅位前的一种荣典）。这时的桓温已重病在身，宰相谢安、王坦之等故意拖延，一拖九个月，373年（宁康元年）三月，桓温病死，皇帝梦没做成，“九锡”也没加上。
桓温虽死，但桓氏仍控制着整个长江上游的军事力量。桓温的弟弟桓豁为征西将军、荆州刺史；桓冲为中军将军，扬、豫二州刺史，镇姑熟；桓豁子桓石秀为江州刺史，镇寻阳等，整个长江上游都是桓氏的势力范围。当时桓玄作为桓温的嗣子，只有5岁。他继父位为南郡公，后朝廷抑制桓氏势力，任桓玄为义兴太守。他怎会做小小的太守，遂辞官回封国。
继桓温之后，执掌朝政的是北方大族谢安。谢安字安石，陈郡阳夏（今河南太康）人。谢氏是北方一流大族，谢安是继王导之后，东晋著名的宰相、政治家。他推行王导“镇之以静”政策，协调大族间的矛盾，实行轻徭薄赋、休养生息政策，发展江南经济，使东晋政权相对稳定。他为了缓和与桓氏的矛盾，承认了桓氏在长江上游的势力现状，但为了减轻来自桓氏对中央政权的压力，以侄子谢玄为南兖州刺史，在京口（今江苏镇江）招募那些流亡到南徐州、南兖州（今江苏镇江、扬州一带）的侨民，组建一支新军队，因京口又称北府，所以称这支军队为“北府军”。这支军队战斗力极强，训练有素，兵精将勇。当时北方氐族苻坚所建立的前秦政权已统一北方，并挥师南下，北府军以少胜多，打败了苻坚军队，取得了淝水之战的胜利，保住了东晋的半壁江山。
淝水之战胜利后，谢安因功高权重，遭到了皇室对他的猜疑。孝武帝重用同母弟会稽王司马道子，排挤谢安。于是谢安请求北征，出镇广陵，让位给司马道子，不久，谢安病死，政权落在司马道子手中。司马道子任司徒、录尚书事兼领扬州刺史、都督中外诸军事。孝武帝怕司马道子权势过重，威胁自己皇位，便用太原大族王恭为南兖州刺史，镇京口，领北府军；以陈郡殷仲堪为荆州刺史，镇江陵，掌握上游兵权，想利用这两股军事力量来牵制司马道子。
396年（太元二十一年），孝武帝被他宠幸的张贵人害死。孝武帝死后，由他的儿子司马德宗继位，即安帝。安帝是个白痴、傻子，不辨寒暑，不知饥饱。司马道子便以皇叔的身份摄政，独揽朝权。司马道子为对抗王恭和殷仲堪，便把主张削弱方镇的太原王国宝、王绪引为心腹，以王国宝为尚书左仆射，参掌朝政。这就直接威胁了北府王恭和荆州的殷仲堪。
397年（隆安元年），王恭以皇帝舅舅的身份，在京口起兵，以诛王国宝为旗号。殷仲堪也在荆州举兵，与王恭遥相呼应。东晋政府建立北府军，本来是用来保卫京城建康，对抗荆州军事力量的，现在两大军事力量竟联合起来，共同对付中央，司马道子实在是招架不起，没办法，只好让王国宝自杀，斩王绪于市，并派人向王恭谢罪，请求王恭退兵，这样，王恭和殷仲堪退兵还镇。
王恭和殷仲堪虽然退兵，可是他们对朝廷的危险依然存在。司马道子为对付这两支军事力量，任命他的儿子司马元显为征虏将军，加强司马元显统率的军事力量。同时，任命他的司马王国宝的弟弟王愉为江州刺史，都督江州及豫州四郡军事，加强对京城的保卫。398年（隆安二年），王恭再一次从京口起兵，荆州刺史殷仲堪和他的军事参谋、南郡相杨俭期、广州刺史桓玄、豫州刺史庾楷等都起兵响应，各路大军会攻建康。司马道子派司马元显等率兵拒战。桓玄等大军顺流而下，王愉措手不及，被桓玄所俘。而王恭的前锋、北府兵将领刘牢之因王恭待他不好，被司马元显收买，临阵倒戈，攻击王恭，王恭兵败被杀，庾楷也战败。桓玄和殷仲堪闻听王恭被杀，慌忙撤兵。司马道子为削弱他们的势力，下令改任殷仲堪为广州刺史，桓玄为江州刺史，杨俭期为雍州刺史。三人拒绝服从命令，并在浔阳（今江西九江）结盟，推桓玄为盟主，向朝廷挑战。司马道子无奈，只好妥协，杨俭期又回到原驻地襄阳，殷仲堪回驻江陵，桓玄屯夏口。399年（隆安三年），桓玄袭杀了殷仲堪和杨俭期，独占了整个长江上游地区，势力更加强大。东晋政府被迫任命桓玄为都督荆、江、司、雍、秦、梁、益、宁八州诸军事，荆州、江州刺史。他占有东晋政府三分之二的地区，而东晋政府直接控制的地区只有三吴地区了。
在东晋朝廷内，司马元显因击败王恭，功勋显赫，他便从他父亲司马道子手中夺得朝廷大权，任总录尚书事、扬州刺史，成为中央政权实际掌政者。他为了对抗上游的桓氏和下游的北府军，决定建立一支属于自己的军队，于是下令征发浙东地区免奴为客的壮丁为兵，就是强迫那些原来是奴隶，现在已经获得解放，已经成为相对自由的佃客的壮丁当兵，引起哗然，爆发了孙恩、卢循领导的农民大起义，这样，东晋政府更加危机重重。
桓玄占有长江上游之地，下游的京城由于农民起义，朝廷经济十分困难。而桓玄却封锁长江，禁止商旅到下游去，使上游的物资无法运到下游，下游的粮荒更加严重，东晋士兵只好吃谷糠和橡树籽来充饥。在这种情况下，402（元兴元年）正月，司马元显亲任征讨大都督，刘牢之为前锋都督，举兵讨伐桓玄。桓玄也举兵东下，并派人收买刘牢之，刘牢之率北府军投降了桓玄，桓玄如虎添翼，顺利地攻下建康，杀了司马道子和司马元显，掌握了东晋朝廷大权。他自任都督中外诸军事、丞相、录尚书事、扬州牧，领徐、荆、江三州刺史。他想夺北府军的军权，任命北府军统帅刘牢之为会稽内史。刘牢之感到大祸临头，想回北府军根据地广陵（今江苏扬州），与北府军将领高雅之一起反抗桓玄。他征询他的军事参谋刘袭，刘袭却说：“将军往年反王恭，近日反司马元显，现在又要反桓公，一人三反，用什么取信于众、立足于世呢？”
刘牢之见得不到部下的支持，只好上吊而死，从此桓玄又掌握了北府军的大权。桓玄控制北府军后，将那些刘牢之的部下，不听命自己的将领全部杀掉，提拔北府兵中下级军官刘裕等，以便北府军能真正归自己指挥，他任命他的从兄桓修为南徐、南兖二州刺史，镇北府，替他管理北府军。
403年（元兴二年），桓玄逼晋安帝退位，自己登上了皇帝的宝座，国号楚。这时的楚政权仍是危机四伏，农民起义接连不断，作为东晋经济支柱的三吴地区经济已残破不堪，百姓走死逃亡，人人思乱。在这种情况下，404年（元兴三年）北府军中下级军官在刘裕的联络下，在京口起兵，北府军另一根据地广陵也起兵反对桓玄。两支队伍会合一处，直奔建康，大败桓玄军队，杀死桓玄。405年（义熙元年），北府军尽灭桓氏余党，迎安帝司马德宗还建康，桓玄之乱被平息。从此，东晋政权便落入寒人出身的刘裕手中，结束了东晋自建国初便大族执政的历史，东晋政权也走到了尽头，灭亡只是时间早晚而已。
