公元377年，东晋的大司马桓温已经死了四年了，他的弟弟桓冲担任了都督江荆梁益宁交广七州诸军事，兼荆州刺史，驻守江陵（湖北江陵）。桓冲觉得江陵与前秦太近，又无险可守，于是上书朝廷将驻守基地迁移到了江南。此时东晋的朝堂上则由谢安主政，这一年，孝武帝司马昌明有感于前秦所带来的压力，于是向全国发布求贤令，谢安非常坦然的举荐了自己的侄子谢玄。
郗超自从被谢安搅黄了“从龙之功”后，便一直对谢安不满，而且他认为论资历他的父亲郗愔应该比谢安更高，但是郗愔则一直被放在了会稽太守的位置上，不能进中央，于是郗超对谢家更是怨恨（郗愔会稽太守的职务全拜郗超自己所赐）。但是此时他见谢安内举不避亲，也不由得深感佩服，因为他曾与谢玄同在桓温手下做事，深知谢玄的才干。
谢玄确实没有辜负他叔父的信任，在京口（江苏镇江）广募勇士训练士兵，东晋后期的名将刘牢之便在此时进入军中，而北府军也是在此时正式组建成功，为接下来东晋抵抗前秦提供了保障。
公元378年前秦天王苻坚以长子苻丕为征南大将军，同武卫将军苟苌、尚书慕容暐率领七万大军进攻襄阳；征虏将军石越自鲁阳关（河南鲁山）出发，率领一万精兵南下；京兆尹慕容垂、扬武将军姚苌率军五万人马从南乡（河南淅川）出发南下；领军将军苟池、右将军毛当、强弩将军王显等率军四万自武当东进，四路大军合围襄阳城。
襄阳城在汉水之南，当时驻守襄阳的是东晋梁州刺史朱序，他觉得前秦虽然多路并举齐攻襄阳，但是他们没有带最重要的工具——大船，于是便麻痹大意起来。但是前秦征虏将军石越则连夜乘小船率领五千人马度过汉江，朱序这才惊恐起来，连忙退守襄阳内城。而石越渡江的目的并不是攻城，他在襄阳城外掳掠了一百余艘船只将对岸十数万的秦军接到了南岸。
渡江之后苻丕亲自在阵前指挥，大军全力攻击襄阳城。此时襄阳的百姓也都知道襄阳失守对东晋整个朝廷的影响，于是全民奋起守卫城池。朱序的母亲韩老太太更是亲自率领城内妇女为襄阳城增加了一道城墙，这道城墙被当地人称为“夫人城”，直到今天“夫人城”还屹立在襄阳城西北角，韩老太太的雕像也一直站在城上看着这座洒下了无数中华儿女血泪的英雄之城！
襄阳城危在旦夕，但是坐拥七万东晋精兵的荆州桓冲却按兵不动，史书上说他是畏惧秦军，但是作者认为此时桓冲没有什么畏惧可谈，襄阳如果城破，他迟早还是要和秦军对阵的，所以说他一定是在以此要挟东晋朝廷什么。
襄阳全民守城，苻丕久攻不下，于是便采取了侧面迂回的办法，派遣慕容垂率军攻击襄阳周边郡县，然后将这些郡县的百姓全部迁往前秦国内，如此襄阳便成了一座孤城。同时苻坚还派遣兖州此时彭超进攻东晋的彭城（江苏徐州），后将军沮渠俱难进攻淮阴（江苏淮安）、盱眙（江苏盱眙）等地，以策应苻丕的襄阳保卫战。
东晋朝廷这边被前秦猛烈的攻势给吓破了胆，孝武帝司马昌明调遣了五万人马驻守姑孰（安徽当涂），而只派了刘波率领八千人去援助襄阳，而且这八千人马也被吓破了胆，一直不敢开赴前线。
公元378年苻坚愤怒于苻丕出兵一年都没能攻下襄阳，便派人给苻丕送了一把剑，告诉苻丕：“攻不下襄阳就用这把剑自裁，不要再回来见我了。”苻丕接到剑后大为惊恐，于是便更加猛烈的进攻襄阳。其实在给苻丕送剑之前苻坚是想要自己御驾亲征的，但是被凉州刺史梁熙给劝阻了，梁熙告诉苻坚：东南有长江天险，易守难攻，不是短时期可以消灭的；而且即便要用兵，也不过是派遣大将领兵即可，当年司马炎灭东吴也没有御驾亲征过；陛下乃是国家根本，不能做这种亲冒矢石的事情。苻坚这才打消了亲征的计划。可惜，后来的淝水之战怎么就没人如此劝谏苻天王呢！
苻丕的攻势更加猛烈，但是朱序在全城军民齐心协力之下数次打退了他的进攻，赢得了宝贵的喘息时间。但是就是在这喘息的时间内，他竟然放松了警惕。这天夜里，他的大营指挥李伯护派出自己的儿子前往了苻丕的大营，答应为苻丕当内应。命悬一线的苻丕立即下令全军发起攻击，李伯护真的打开了城门，朱序被生擒押送到了长安，苻坚封他为度支尚书，但是为前秦立下大功的李伯护，竟然被苻坚以奸邪不忠的理由砍了头。如果此时王猛还在，他定然不会杀李伯护，想想当年他举的刘邦之于丁固的例子便可知。
前秦攻下襄阳之后苻坚任命梁成为荆州刺史，率领一万兵马驻守襄阳，而东晋这边桓冲则假惺惺的上书向朝廷请罪，东晋朝廷也不敢真的拿他怎么样，驳回了他请罪的奏章，只是象征性的撤销了刘波的职务，但是随后不久便又给恢复了。
与此同时，当初派出去作为策应的沮渠俱难、彭超等人则一路势如破竹，连下彭城、淮阴、盱眙等江北重要城池，将东晋的幽州刺史田洛围困在今江苏省金湖县南。此时谢玄在广陵（江苏扬州），得知田洛被困之后连忙率军从广陵出发救援田洛。田洛与谢玄配合将彭超等人赶到盱眙，谢玄等继续进攻，沮渠俱难和彭超又退守淮阴。后来双方在北君山决战，彭超等人大败北逃。谢玄率北府军一战成名，自此奠定了北府军在东晋的地位。
