在那漫长而孤独的岁月中，我对自己的人民获得自由的渴望变成了一种对所有人，包括白人和黑人，都获得自由的渴望。
——纳尔逊·曼德拉
波尔斯穆尔监狱坐落在开普敦一个风景区，北面有斯坦提亚伯格山脉，南面有数百公顷葡萄园。1982年3月，曼德拉等人被带离罗本岛后，就被关进了这里。
曼德拉等4人被安排在监狱的一个顶层公寓里居住，房间里有4张正规的床，床上有床单和毛巾被。对于18年来多数时间都睡在铺着薄席的石头地板上面的他们来说，这是十分奢侈的，就像住进了五星级酒店。
波尔斯穆尔监狱的待遇也和罗本岛不能同日而语。犯人每顿饭可以吃到没有变质的肉和蔬菜；允许看更多的报纸杂志，包括《时代周刊》和《卫报周刊》等；屋顶上还有一条长长的走廊，白天可以在那里休息、散步；曼德拉甚至还有自己单独的书房，可以在那里写信、看书；还有一个调频收音机，曼德拉抱怨：“只能收听南非台而听不到英国广播电台”。
转到新监狱后，曼德拉还和往常一样，早晨4∶30起床，然后在公共房间锻炼一个半小时。每天重复着同样的锻炼内容：跑步、跳绳、仰卧起坐、俯卧撑。同屋的人不喜欢早起，所以曼德拉这些锻炼项目很快使他在牢房里成了一个不受欢迎的人。
在波尔斯穆尔监狱，曼德拉发现楼顶上整天都能见阳光，于是在那里开辟一个菜园。曼德拉请求监狱后勤部门给提供了16个大油桶，并让他们把油桶锯成两半，装上潮湿、肥沃的土壤，制成了32个大花盆。
曼德拉回忆说：“我种上了各种蔬菜，如洋葱、茄子、卷心菜、花菜、豆角、菠菜、胡萝卜、黄瓜、球形甘蓝、甜菜、生菜、番茄、辣椒、草莓等。最多时，我在这个小小的农场里种了接近900棵植物，这个菜园远比我在罗本岛上经营的菜园要大得多。”
1984年5月，当局允许曼德拉与夫人进行“接触性”探视了。当有人告诉曼德拉夫人可以和曼德拉单独会面时，她吓了一跳，以为曼德拉可能生病了。曼德拉回忆说：“当时，她来到门口，我们两人不知不觉地就来到了同一个房间，后就彼此相互拥抱在一起。这么多年以来，这是我第一次吻抱我的妻子。算起来，我已经有21年没有碰过我夫人的手了。”
曼德拉等人在监狱的生活条件得到改善的同时，监狱外的反种族隔离运动正在风起云涌。1980年6月，非洲人国民大会游击队向3个主煤成油装置投掷了炸弹，一时间火光冲天，50英里以外的天空都被照亮了。《兰德每日邮报》称，南非如今已经陷入“革命战争的状态”。
1981年1月，白人当局的报复行动开始了，在南非总统博塔的授意下，一支军队入侵莫桑比克，袭击了位于莫桑比克首都马普托的3栋大厦，并杀害了13名非洲人国民大会成员。曼德拉给坦博写信说：“博塔之所以不惜侵犯主权国家的领土完整，杀害手无寸铁的难民，无非就是想要赢得选举，继续执政。我们的下一次行动将更加彻底。到时候，越来越多的政府支持者会意识到国民党正在把这个国家带向万劫不复。”
白人当局的报复行动还在继续：1981年11月20日，“争取释放曼德拉委员会”的司库、同情非洲人国民大会的辩护律师格里菲斯·姆曾格被残杀在德班的一个运动场上；1982年8月，积极参与反对种族主义的民主人士鲁思·弗斯特被邮件炸弹炸死；同年，南非又派人袭击了非洲人国民大会在马塞卢的秘密据点，共有42人被害。
1984年10月，图图大主教被挪威议会诺贝尔委员会授予1984年诺贝尔和平奖，表彰其用非暴力方式反对南非当局种族歧视政策的斗争，这对身在监狱的曼德拉和全体黑人是一种巨大的鼓舞。图图大主教能言善道，1984年冬天，他在美国纽约的一次宗教仪式上演讲时说：“白人传教士刚到非洲时，他们手里有《圣经》，我们（黑人）手里有土地。传教士说：‘让我们祈祷吧！’于是我们闭目祈祷。可是到我们睁开眼时，发现情况颠倒过来了：我们手里有了《圣经》，他们手里有了土地。”
南非的白人当局开始渐渐意识到：一味地靠暴力维系种族隔离已经是穷途末路，这样下去，政府早晚有一天会垮台。只有向黑人做出一些“善意”的姿态，才能打破目前的僵局。
从1984年开始，曼德拉被允许接受一些记者的采访。当年8月，《兰德每日邮报》的记者本杰明·波格伦采访了曼德拉，但这次采访未允许报道。10月，开普敦大学的教授凡德尔·马尔韦拜访了曼德拉。在两人交谈的过程中，凡德尔·马尔韦问曼德拉：“你是基督教徒吗？”曼德拉回答道：“当然是！”离开监狱时，凡德尔·马尔韦深受鼓舞，他说：“这个人会在不久的将来出狱参政，并成为政府一员，我们要为之祈祷。”
1985年，美国乔治城大学的萨姆·达什教授拜访了曼德拉，他是第一个获准访问并会见曼德拉的美国人。他回忆这次见面过程时说：
纳尔逊·曼德拉身材高大，仪表堂堂，看上去远远没有66岁。他穿着一身得体的卡其色衣服，而不是规定的囚服，精力充沛，身体健康，信心满满，而且气质高贵，这和监狱的气氛很不协调。我觉得自己面对的并不是什么游击队员或者激进分子，而是一位国家元首。
会谈一开始，曼德拉就显示出他对时事的渊博知识，这与他多年的囚禁生活似乎很不相称。他先是祝贺我曾在参议院水门事件委员会任首席律师，并评论了我刚刚参加过的那个刑法讨论会。他对日内瓦的军备谈判非常有兴趣，也滔滔不绝地谈论了一番。
谈到南非问题时，曼德拉操着标准的英式英语抨击政府承诺的改革，包括废除通婚法。他说：“你可能认为这无关痛痒。坦白地说，是否能与白人女性结婚或是与白人在一个游泳池游泳并不是我最终要达到的目的。”他还说：“我已经做好准备努力改善国家的现状，并就将权力移交给全体南非人民进行谈判。”
