第二天，郑成功领兵来战。甘辉横枪大骂，骂得管效忠大怒，命马虎出战去擒甘辉来问罪。马虎领命出战。二将勇斗上百回合，不分上下。管效忠暗暗称赞二将武艺绝伦，并料定马虎难胜甘辉，暗使朱冲助战。朱冲窃喜，拍马出阵，从背后杀出，一戟刺去，正中马虎背心，马虎落马。管效忠大惊，骂：“叛贼，不得好死！”然后气急败坏亲率两员大将出马战甘辉和朱冲。五员虎将大战于银山脚下，直杀至天黑方休。到了第二天，双方又各领大军来战。清军死伤三分之二，剩下的残兵败将护卫着管效忠逃往南京。郑成功乘胜追击，水陆并进，势如破竹。清军纷纷落荒而逃，投降义军的也不少。郑军力克镇江及其属地多处，清军皆竖白旗投降归顺。附近官府和扬州、常州等地的原来明朝官员降清苟安的，闻讯郑军大捷，由观望而行动起来，纷纷复来攀附。百姓益发拥护义军，义军所到之处，民众纷纷置办美酒犒劳将士。郑成功以所向披靡之势夺了瓜洲、银山、镇江之后，战局迅速好转。攻克失地，节节取胜，义旗所指风靡一片，令满清朝廷十分惊慌。
这个时候，战势对郑成功非常有利。于是，郑成功召集各将领商量镇守瓜州和进攻镇江的事情。张煌言说：“尽管瓜州的清廷军队在陆路战败了，但是水师退入了芜湖，肯定是后患无穷。”随后，郑成功命令张煌言和杨朝栋率领水师前镇逆流而上到芜湖，进行追击，并堵截从长江上游赶来的清廷军队的援军，命令援剿左镇在瓜州留守，派监纪柯平管理沿江防务和地方事务，自己率领兵将沿着水路直奔镇江。郑成功亲自监督作战，郑家军枪炮齐发，全体将士没有一个不是以一当十，奋勇死战。银山地区地势复杂，道路狭窄，河沟密集，交叉分布，清廷军队的骑兵无法发挥优势，以至于大败逃散，淹死的、踩死的不计其数。郑家军乘胜追赶了十几里路，缴获了大量的马匹、骆驼、盔甲、弓箭。郑家军只损失了几名士兵。镇江守城的清廷官员看见大势已去，就开城投降。郑成功命令右武卫周全斌留守在镇江。郑成功在教场山下训练军队，百姓们纷纷扶老携幼，到面前来观看，都说郑家军是“天兵”，赞扬他们英勇善战，军纪严明。二十八日，郑成功召集各将领商量要进攻南京。
七月四日，郑家军乘船逆流而上，猛扑南京，在沿途到处张贴檄文，檄文富有文采，铿锵有力，表现了郑成功的儒家风范，对于北攻金陵，反清复明，确是一个鼓舞人心的号召书。余新率先头部队神速占领了神策门，领五千精兵伺机攻城。东城门突然大开，清兵趁义军立足未稳，派出大批精锐骑兵，疯狂向余新的部队冲杀过来。清军骑兵尽是蒙古兵马，勇猛剽悍，是一支训练有素的精良部队，擅长冲阵，其势锐不可当、屡屡得胜。这次，没想到义军对他早有所了解，研究了防范的对策：以铁甲兵迎敌，将士个个身材高大，戴盔着甲，简直铁人一般，而且个个擅长于挥舞大刀，专砍骑兵的马脚。清军骑兵虽勇，却奈何大刀不得，常常人仰马翻，弄得清将无计可施。清兵失了优势便不敢再战，退入城中去了，随即紧闭城门，任凭义军如何搦战他们就是不理睬。
很快，浦江、太平、江浦、六合、芜湖、当涂的守城将领听到这个消息纷纷把守城大权献出来，归顺了郑成功。江南各处不断有归附郑军的官兵，从形势上看郑军的威望与日俱增。然而此时郑军也正在不知不觉中丧失了自己的优势。
一天，守城的清军总兵郎廷佐，在城楼上用单筒千里镜眺望，见义军人强马壮，兵器厉害，声势浩大，数里之外军营密布，料定难挡义军的攻击。于是，聚众商议破敌之计。大将梁化凤说：“郑军水陆并进，长江上舳舻千里，陆地上营寨无数。我军被重重包围，失去了外援，宛如一只困兽，哪怕是一只猛虎，也是有威发不出，如此下去，久围必自溃。眼下，唯一的出路，就是派一员大将率一支精兵杀出重围，前去讨救兵，来个内外夹击，方可退兵，南京城才能无恙。”
过了几日，郑军从捉到的一名从南京出来送情报的人员那里，了解到城中的情况。原来南京总督管效忠自镇江败回后，知道郑军即将进攻南京，便日夜督理防城器械，并派人前往苏、松等处求取援兵，同时向北京清廷紧急奏报求援。城中守军已被吓破了胆，奏报中称郑军有水师二十余万，战船千余艘，俱全身是铁，箭穿不透，刀斩不入。从瓜洲、镇江败回的兵将，仍然惊魂未定。指挥战局的人也一筹莫展，不知如何是好。郑成功得到这个情报非常高兴，他说：“城内到了这种程度，南京一定会投降的！”郑成功命人起草了一份劝降书，指出南京的困境，劝其投降，随后将信绑在箭上射入城中。
七月十二日，郑成功率文武官员拜祭大明太祖朱元璋。江风习习，松涛浩浩，郑成功与诸将全身缟素，向孝陵方向跪拜。郑成功泪流满面，诸将也无不哭泣。在一片得胜声中，诸将纷纷请求早日攻城。大将周全斌说：“如今已占领瓜洲，用兵贵在神速，如果一鼓作气将南京拿下，将皇帝迎驾过来，那么中兴大明便指日可待了。”
一片胜利的有利形势使郑成功被胜利冲昏了头脑，他认为南京是囊中之物，很容易就可以得到，于是便命令大军分头驻扎，经常举行宴会。有些将领、士兵也产生了骄傲情绪，前锋镇的将士甚至在防守的阵地撒网捕鱼。将领甘辉看到这种情况，深深感到忧虑，提醒郑成功说：“我们的军队长时间地驻扎在城下，不去攻城。敌人的援兵一旦来到，我们就会多费很多的时间和力气。”郑成功却另有一番考虑。他说：“自古以来，攻打城池，抢占土地，一定会有许多的死伤。我之所以没有及时攻城，是想等敌人的援军都到齐了以后，一战就打败他们。管效忠知道我的手段高明，即使不投降也会逃走，而且江南各地相继归顺我们，南京一个城市孤立无援，不投降还等什么呢？”
后来的事实证明，郑成功在这件事上犯了战略上的错误。他错误地估计了当前的形势，自以为清军必然或降或走。当然，郑成功不急于攻城，也有其他方面的原因。比如当时的他们的枪炮尚不十分充足，其他各路抗清兵马尚未到来等。正是由于他的过于自信、过于慎重，最终失去了攻下南京城的大好时机，并导致了这次北伐的失败。
郑成功到了南京城下，不禁感慨万千。望着烟波浩渺的江面和笼罩在雾中的城楼，他慷慨赋诗：
缟素临东誓灭胡，
雄师十万气吞吴。
试看天堑投鞭渡，
不信中原不姓朱。
这首诗虽然力透纸背，至为感人，充分显示了他的胸襟和文采，但也显现出他的自负。郑成功大军包围南京，江南各地为之震动。负责江宁驻防的管效忠不敢出战，紧闭城门防守待援。
随后，郑成功传令各提督统领，限令二十二日安炮攻城。然而清兵援军已开始向南京集中，总兵梁化凤于十五日自崇明赴援突围入南京城，与城中守军合为一股，加强了防守力量。
二十二日中午，双方炮战正式打响。清兵在仪凤门安置火炮，与郑军前锋阵对击，郑军的炮架设在路口，全被击碎，官兵无立足之处。接着清军大队冲出城来，也有的从屋顶上冲下来，郑军救应不及，前锋镇余新、左营董廷，和大小将领官兵全军被歼。中冲镇副将萧拱柱也阵亡，萧拱宸浮水而逃。清兵趁势蜂拥出城扎营。首战遭受挫折，郑成功当晚重新布置了兵力，传令抽兵驻扎观音山待敌。郑成功的部署是：左先锋镇杨祖，统援剿右镇姚国泰，后劲镇杨正，前冲镇蓝衍屯扎大山上，做犄角应援；中提督、五军，伏在山内；左武卫、左虎卫，列在山下迎敌；郑成功督右虎卫、右冲镇万禄，在观青门往来应援；后提督、宣毅左等堵御大桥大路；右提督、宣毅后镇、正兵镇，由水路抄敌后路；左冲镇专理水师，防止敌兵由水路抄来。
郑成功的这个布阵再次犯了严重的错误。他将兵力分散于难于及时救援之地。一旦一路遭到清军优势兵力的攻击，其他各路很难及时赶到救援。这天晚上，清兵乘胜逼近郑军营地扎营对垒。
二十三日，清兵大队人马数万人从山后抄出，南冲左先锋镇之营，但郑成功已传令中军营，无令不许轻战，而山上山下又隔远不见，只听清军的冲杀声。清兵动用了全部的攻坚器械，炮火交集，郑军无处容足。清军一齐下马死拼，郑军将士冒死迎战。郑成功派遣右冲镇、右虎卫镇前往援助，左先锋寡不敌众，已被清军杀败。前冲镇蓝衍战死阵中。清兵乘胜从山上冲下，中提督、五军等在山内被围，死战不得突围相继阵亡。左武卫、左虎卫在山下整军死拼，但大势已去，独立难支，终于也被歼灭。后提督堵御大桥头，遭到清兵首尾夹击，被歼灭。
郑家军大败，左先锋镇、右武卫镇、右虎卫镇几乎全军覆没，这三镇的将领和后提督万礼，户宫潘庚钟先后战死。正当江边上的攻守之战趋于白热化的时候，郑成功率领一支亲兵杀至大桥东侧，见军师倒在血泊之中，气息奄奄，欲救其上马，军师流着泪说：“我重创无望，不要管我，请主帅自保。”郑成功没有办法，只好指挥军队登船撤退。
率军队进军芜湖的张煌言，进展十分顺利，沿途收复了许多郡县。百姓们都出门准备好酒菜，迎接他们。郑成功战败的消息传来，张煌言马上派人带着密信连夜到郑成功的军营，劝他现在最好的选择是进攻，并在信上说：“胜败乃兵家常事，我们所倚靠的是民心，而且上游的许多镇我全守得很好。如果增援我战舰百艘，沿江而上，收复失地，或许尚有可为。倘若骤然而返，将置江南百万人民于何地呢？”然而，郑成功不肯听从，竟派蔡政去北京议和，自己率船队从海路匆忙退回福建，致使张煌言孤军无援，被清军围困在芜湖，不幸全军覆没。
后来，张煌言只带着一两个从人，从小路逃往天台一带。张煌言改姓埋名，流落江湖。轰轰烈烈的北伐到此画上了句号。郑成功回到厦门，先在城外哭祭阵亡的将士，建立忠臣祠，优厚安抚他们的亲属，然后才进城。当郑成功直捣金陵的消息传到北京时，清政府十分惊慌，顺治皇帝亲自前往南苑练兵，准备亲征。没多长时间，清军大获全胜的消息传来，顺治帝很高兴，马上提升梁化凤为江南提督。此时，清军在云南、贵州也取得了决定性的胜利，永历帝逃往缅甸，李定国逃往云南少数民族地区，这样，清政府就可以全力以赴，围剿郑成功。十余年来精心谋划的北伐壮举，就此以惨败结束了。后来郑军虽然迅速撤回，但也只保得金门、厦门两岛，元气大伤，十年之功，毁于一旦。郑成功的中兴事业，受到了严重挫折。
