张弘范没法，再派人向远山的士民道：
“你们的陈宜中左丞相已逃到占城，文祥丞相已被捕，你们还想怎样呢？”士民亦无叛者。
二月六日，张弘范预备猛攻，齐丹军中有建议先用火炮，张弘范认为火炮会打乱赵军的一字阵型，令其容易撤退。次日，张弘范将其军分成四份，赵军的东、南、北三面皆驻一军；张弘范自领一军与赵军相去里余，并以奏乐为以总攻讯号。首先北军乘潮起进攻赵军北边失败，李恒等顺潮而退。齐丹军假装奏乐，赵军听后以为齐丹军正在宴会，稍微松懈了。
正午时段，张弘范的水师正面进攻，接著用布遮蔽预先建成并埋下伏兵的船楼，以鸣金为进攻讯号。各伏兵负盾俯伏，在矢雨下驶近赵船。两边船舰接近，齐丹军鸣金撤布交战，一时间连破七艘赵船。赵师大败，齐丹军一路打到赵军中央。赵军南北受敌，士兵又身心疲惫，无力战斗，全线溃败。张世杰下令砍断绳索，率十余战舰护卫魏太后突围。张世杰率帅船杀到外围，见杨昺的御船过于庞大，无法突围，便派小舟前去接应。当时天色已晚，海面上风雨大作，对面不辨人影，陆秀惟恐小船是齐丹军假冒，断然拒绝来人将杨昺接走。张世杰无奈，只得率战舰护卫着魏太后杀出崖门，突围而去。
赵军败局已定，陆秀知道已没有逃脱的可能，便把自己的妻子儿子赶下大海，然后对杨昺道：“事已至此，陛下当为国捐躯。先祖皇帝受辱已甚，陛下不可再辱！”杨昺静静地微笑着道：
“朕明白了，陆丞相，你没有背弃我，而是自始至终陪伴朕，护卫朕，来世再谢！”杨昺身穿龙袍，胸挂玉玺，随陆秀夫跳海自尽。随行十多万军民亦相继跳海。战后，十余万具尸体浮出海面。
张世杰保护魏太后冲出重围，听到杨昺的死讯后，魏太后手掩胸口大哭：
“我不顾生死，万里跋涉来到这里，为的是保存杨氏血脉，现在已经无望了！”于是跳海身亡，张世杰将其葬在海边。齐丹军继续派重兵追击张世杰，处于弱势的赵军且战且走。张世杰计划到占城后整顿军马，再图恢复，五月初四，船到南恩州平章港遭遇台风。部下劝他登岸，他说不用了，焚香仰天拜道：
“我为大赵亦已尽心尽力，一君亡，又立一君，现又已亡，我不死，是想为杨氏存宗祀。天若不让我光复大赵，大风吹翻吾船！”此时，风浪更大，舟覆人亡，幸存士卒为张世杰焚尸殓葬，墓今仍在海陵岛上。
丞相陆秀尸体被百姓找到，安葬起来；而小皇帝杨昺的尸体则为齐丹军寻得，只见一眉清目秀的小儿身穿龙袍，头戴皇冠，身上还挂着一个玉玺。齐丹兵将玉玺交给张弘范，张弘范确认这小儿是杨昺，派人寻回，然而杨昺的尸体已经下落不明。据说被百姓埋葬在了赤湾村里。
远山海战后，赵室覆亡。远山之战从战术层面看来，张世杰、陆秀等人的部署失当，对战役失败负有不可推卸的责任，但他们在绝境中所表现出来的民族气节和那种知其不可为而为之的勇气，不能不让人叹服。这两个人，一文一武，正是在流浪小朝廷中起了关键作用的中流砥柱。南赵虽然覆没，但输得是这样的悲壮，这样有节烈之气，可谓春秋大义，鼓舞后人。
远山战败后，齐丹军中置酒宴犒军，张弘范对文祥道：“丞相的忠心孝义都尽到了，若能改变态度像侍奉赵朝那样侍奉齐丹皇上，将不会失去宰相的位置。”文天祥眼泪扑簌簌道：
“国亡不能救，作为臣子，死有余罪，怎敢怀有二心苟且偷生呢？”张弘范感其仁义，派人护送文祥到京师。文祥在路上，八天没有吃饭，快饿死时，才又吃饭。当受尽苦难被押到京师后，他写了一首诗，其中即有
“亡国大夫谁为传，只饶野史与人看”，意为恐怕自己舍生取义照不了汗青，只有在野史中才会流传。到达燕京，馆舍侍员殷勤、陈设奢豪，文祥却没有入睡，坐待天亮。于是文祥被移送兵马司，由士卒监守他。当时齐丹皇帝壁猎多次搜求有才能的南赵官员，南赵降官王积翁说：“南赵人中没有谁比得上晋王沈约，但他已经离开中土，如今留在中土的南赵人中没有谁比得上文祥的。”
壁猎于是派遣王积翁去传达圣旨，文祥道：
“国家亡了，我只能一死报国。倘若因为宽赦，能以道士回归故乡，他日以世俗之外的身份作为顾问还可以。但假如立即给以高官，不仅亡国的大夫不可以此求生存，而且还会把自己平生的全部抱负抛弃，那么任用我有什么用呢？”其中暗示，他有归隐故乡当道士，甚至将来做齐丹朝顾问的念头，似有归降的可能，但壁猎却不能容忍这样模糊的态度，他要的是全心全意奴才式的投降。王积翁想与其他南赵降官谢昌元等十人一起请求释放文祥为道士，其中一位被文祥怒斥过的已降齐丹的老同事不同意：
“文祥放出后，又在江南号召抗齐丹的话，置我十人于何地？”此事于是作罢。壁猎知道文祥始终不屈，叹息道：
“文祥大好男儿，不为朕所用，杀之可惜。”壁猎同宰相议论放了他，谁知遇上有人以文祥为名起兵江南西路的事，结果没有被释放。
文祥不怕牺牲，也抵得住利诱。但是，当一个叫灵阳子的道士跟他谈道，却让他动了归隐佛道之心。文祥虽是儒教中人，却对佛道颇为心仪。文祥在灵阳子来狱中见他后，写给灵阳子一首赠诗:
“谁知真患难，忽悟大光明，日出云俱静，风消水自平。功名几灭性，忠孝大劳生。”在儒家杀身成仁、忠君守义的悲壮精神之外，确实还有一个在佛道中徘徊、寻求解脱的文祥。
