元世祖知后大失所望，十分愠怒，下令将文天祥关进兵耳司的牢房，命狱卒看守。执行人员将他绑缚，颈上枷，脚带镣！监押狱中，半月后才解开手缚，一个月后方卸枷去镣。他们认为优礼不能奏效，而施以苦难的折磨，天长日久必能摧毁其意志，促其生变而归降。从此，文天祥开始了狱中长囚的生涯。
谁知这一关就是三年。狱中的文天祥，受尽非人的折磨，苦不堪言。他曾这样据实写道：
余囚北庭，坐一土室，室广八尺，深可四寻，单扉低小，白间短窄，污下而幽暗。炎此夏日，诸气萃然：雨来四集，浮动床二，时则为水气；涂泥半朝，蒸沤历澜，时则为土气；乍晴暴热，皿落四塞，时则为火气；檐阴薪爨，助长炎虐，时则为火气；仓肩哥顿，陈陈逼人，时则为米气；骈肩杂遝，腥臊汗垢，时则为人气；或因涠、或毁尸、或腐鼠，恶气杂出、时则为秽气。叠是数气，当之者鲜不为厉。
这样的囚徒生活，自然与仕官的荣华富贵，不可同日而语，乃天壤之别。但沦为战俘做楚囚的文天祥，以孱弱的身体，生活在如此恶劣的环境之中，整日面对污浊的“七气”（水气、土气、日气、火气、人气、米气和秽气），长达一年之久，居然无灾无病地活了下来，竟然大难不死。
面对这种苦难的折磨，文天祥以一“浩然正气”，敌“七种恶气”，安之若素，不改初衷，忠烈之志弥坚。他自悟真谛，认为如此而为是“有养所致”；而“所养何哉？”他豁达自娱，写道：
孟子曰：“吾善养吾浩然之气。”彼气有七，吾气有一，以一敌七，吾何患焉！况浩然者，乃天地之正气也，作正气歌一首。
回溯社稷与人生，往事历历在目，忠奸青史分明；面壁观今与卜后，典刑危在旦夕，气节我辈自扬。于是，文天祥在狱中提笔抒怀，写下了那篇气壮山河、千古不朽的《正气歌》：
天地有正气，杂然赋流形。下则为河岳，上则为日星。于人日浩然，沛乎塞苍冥。皇路当清夷，含和吐明庭。时穷节乃见，一一垂丹青。在齐太史简，在晋董狐笔；在秦张良椎，在汉苏武节。为严将军头，为嵇侍中血；为张睢阳齿，为颜常山舌。或为辽东帽，清操厉冰雪；或为出师表，鬼神泣壮烈。或为渡江揖，慷慨小胡羯；或为击贼笏，逆竖头破裂。是气所磅礴，凛然万古存。
当其贯日月，生死安足论！地维赖以立，天往赖以苴。三纲实系命，道义为之很。嗟予遮阳九，隶也实不力。楚国缨其冠，传车送穷北。鼎镬甘如饴，求之不可得。阴房阗鬼火，春院闭天黑。牛骥同一皂，鸡栖凤凰食。朝蒙雾露，分作沟中瘠。如此再寒暑，百疠自那易。哀哉沮洳场，为我安乐国。岂有此缪巧，阴阳不能贼！顾此耿耿在，仰视浮云白。悠悠我心悲，苍天曷有极！哲人日已远，典刑在夙昔。风檐展书读，古道照颜色。
锁牢狱而不畏死的文天祥，自然不是一个自我草菅性命的轻生者，如同常人一样，其充满了对生命的热爱和人生的渴望，很显然，他把生命价值的定位和人生价值的取向，并未放在个人与家庭的福禄寿禧上，而是放在对国家与民族的忠孝节烈上。因此，他对生死的抉择，国为重，民为先，忠为大，节为贵，因而才视死如归。
文天祥知道自己去日无多，便利用大元朝廷对他的一些特殊优待，变牢狱为书屋，挥毫泼墨，抒发心志，写下了许多不朽的传世诗篇，并完成了自己人生的《编年录》。他的诗作，为世人所喜爱，经常飞出牢笼，或径来狱中相求，以至一诗既成，千手传抄，满于燕市，传遍中原。在狱中，他还抓紧时机，整理和编辑了自己的诗集《指南录》与《指南后录》，又集杜甫诗句三百余首而辑成《集杜诗》，并写下许多极具史料价值的题记。这一切，大概在中国状元与官吏史上，是绝无仅有的。
狱中的文天祥，无时不眷恋着家庭，怀念自己的妻子，拥有儿女情长。他曾收到女儿柳娘的来信，得知妻子和两个女儿崔俘后都在宫中为奴，生活宛如囚徒二般，心中不禁潸然泪下，
他明白，女儿的来信是大元朝廷的一种暗示；只要自己归降，家人即可团聚，享尽荣华富贵，此情此景真的令他心如刀割，难以抉择。
然而，文天祥笃信先国后家的理念，不愿因夫妻恩爱和儿女情长而违心屈辱地丧失气节。他曾在过淮涛中，一吐自己对国与家以及亲人的热血衷肠，又在哎与弟妹书的回信中，和汨倾诉道：“收柳女信，痛割肠胃。人谁无妻儿骨肉之情”但今日事至此，于义当死、乃是命也。奈何？奈何！……可令柳女、环女做好人，爹爹管不得。汨下嗄咽，更咽。”家人见后读昙，自然泪飞肠断。
翌年五月，文天祥之弟文璧从广东惠州北来大都，大元丞相孛罗得知后，便要他去劝降。文璧给哥哥带去了四百吊钱，又书写了一封劝解的书信。文天祥与文璧有手足之情，又有同登之历，二人相濡以沫，但文天祥认为，文璧前已以城附元，与自己分道扬镳，志不同道不合。第二天，钱被如数退回，并无回信，却有一首诗。其中两句是：“弟史一囚一乘马，同父同母不同天”。文璧把诗交给孛罗，孛罗看后，知其坚贞不渝，只有失望和死心了。
至元十九年（公元1282年）三月，阿合马被刺，和礼霍孙被任命为右丞相，提出了以儒家思想治国的建言，颇得元世祖忽必烈的赞同。八月，元世祖询问议事大臣，说：“南方丞相与北方宰相，孰贤能？”仕元的降臣王积翁答道：“北人无如耶律楚材，南人无如文天祥。”于是，元世祖拟授文天祥以宰相之高官显位，并下令兵马司继续优待文天祥，欲收其心，得其人。
大元朝廷对文天祥之所以囚而不杀，恩威并举，其意就在于此处，欲利用他在南国民众中的崇高声望，来巩固自己对统天下的统治。
宰相，那可是一人之下、万人之上的爵位，多少人梦寐以凌的啊！王积翁等一些降元的旧友，奉命将此事通报给了文天祥，希望他改弦更张。但文天祥摇头，心无所动，不存奢望，饶道：“国亡，吾分一死足矣。焉用我？”
此时，大元朝廷的官员们议论纷纷，有的主张继续对其劝降，有的主张立即把他杀掉，而王积翁、谢昌元等十人，则欲议请皇上释放文天祥，让其做黄冠道士，绝俗出家。但降臣留梦炎极力反对，说：“天祥放出，复号召江南，将置吾十人于何地？”所议遂告吹。元世祖忽必烈也曾与宰相私下议过，欲释放文天祥，但有人以文天祥曾起兵江西抗元之事警戒之，害怕放虎归山，于是予以打消。
不久，大都朝廷同时传来两个令朝廷震惊的消息：一个是福建僧人夜观天象，说“土星犯帝座”，疑“天下有变”，举国哗然。另一个是，北方中山府（今河北保定）一带，传说“宋主有兵千人，欲取文丞相。”京城也有匿名书，说某日要火烧城苇，率两翼兵作乱，韵文丞相举旗抗元。
这两个事关大元政局的消息，都与江山的稳固和文天祥的存亡有关，朝廷得知后惶恐不安，更视文天祥为心腹大患。于是，朝廷一方面下令严加戒备，另一方面将如何最终处置文天祥的问题，提到了议事工程。十二月初八日，元世祖亲自召见文天祥。文天祥明白，抹定自己人生命运的关键时刻，终于来到了。
面对元世祖忽必烈，文天祥依然长得不跪。世祖帝并不计较和责怪，郑重地问道：“你有什么要求和愿望？”
文天祥成竹在胸，不卑不亢，答道：“天祥受宋恩，为来回壮元丞相。宋无不道之君，无可吊之民，然不幸母老子弱，权臣误国，用舍失宜，北朝用其叛将、叛臣，人其国都，毁其宗社。天祥相宋于再造之时，而宋亡矣。天祥惟可死，不当生，愿赐一死足矣。”
世祖帝于心不忍，说道：“你在这里日子很久了，如能改心易意，以臣事宋之忠心事朕，当令你在中书省有一坐处，可为大元宰相。”
但文天祥威武不屈，富贵不淫，不为所动，坦言道：“国为重，忠臣不事二主。我是大宋的丞相，宋国已灭亡，只求速死，不当久生。”
世祖又命人传话：“你不愿当宰相，就当枢密使。”
“不能当！一死之外，无可为者。”文天祥仍断然回绝。“那你愿意怎么祥？”
“但求一死足矣！”
忽必烈彻底地绝望了。他爱其忠烈，恨其不归，降其无望，惧其生存，而又哀其自轻。无可奈何，只好命人把文天祥重新押回兵马司监狱。
第二天，有元臣上奏道：“文天祥不愿归顺与臣服，应立即判处其死刑。”参知政事麦术丁力，更力赞元世祖，从天祥之请，将其处决。世祖犹豫再三，遂勉强点头，批准了这个奏议。
第二天，至元十九年（1282年）十二月初九日，便是文天祥就义的日子。
这一天，大元朝廷派来了监斩官，率领执刑人员，来到兵马司监狱。文天祥知道自己时日已尽，神情泰然自若，对监押的狱卒说：“我事毕矣！”随即带上刑具，从容地走进刑车，奔向刑场。
柴市口刑场周围戒严，一片肃杀之气。文天祥披枷带镣，被押解至此，凛然步出囚车，心若止水，面不改色心不跳。
行刑的最后时刻来到了。监斩官特地再一次问道：“文丞相，你还有甚么话要说吗？此时说来，回奏免死，犹未晚矣。”
“人就要死了，还有什么可说的？！”文天祥大义凛然，义无返顾地回答。接着，他反问监斩官：“哪边是南方？”
有市人给他指示了方向，文天祥遂双膝跪地，遥望南方，深情地拜了两拜，然后坦然说道：“我事已完结，心中无愧了！”于是昂首挺胸，引颈就刑，从容就义。
刑场执刑刚一结束，忽然朝中有使者持诏加急飞到，要求停止行刑。
原来，元世祖闻知文天祥从容走上刑场后，心中不禁肃然起敬，怅然若失。他再三思忖：“孰道科目不足以得伟人也？文天祥兵败被执，我以天地有容之量，既壮其节，又惜其才，留之数年，如虎兕在押，百计驯之，终不可得，可谓仁至义尽。今其赴刑，虽为其咎由自取，但如此忠烈，犹有可惜。与其速决，莫？如缓处，还是从长计议的好，毕竟来日方长。”于是，他连忙颁诏，急令止之。
但是，不幸的是诏使迟到，文天祥已经死了。大都呜咽，人们洒泪奠酒，向这位以国为本的忠烈之士，志哀致敬。时年，文天祥年仅四十七岁。文天祥遇难后，其妻欧阳氏和家人以及江南义士们，前来收尸，偶然间从他的遗体的衣带间，发现了其生前写好、藏匿在身的一篇《绝笔自赞》：
吾位居将相，不能救社稷，正天下，军败国手，为国虏，其步死久矣！顷被执以来，欲引决而无间。今天与之机，谨向南百拜以死。其赞曰：孔曰成仁，孟曰取义，惟其义尽，所以仁至。读圣贤书，所学何事？而今而后，庶几无愧！宋丞相文天祥绝笔。
文天祥死后，先被暂埋于大都的小南门外，翌年灵柩运回庐陵老家，安葬在故乡富田村东南的鹜湖。
后有人哀而赞之日：“事业虽无所成，大节亦已无愧”。清代秦簧则赋诗赞之：“破碎河山佘正气，英灵风雨护荒丘”。
