苏辙自从与苏轼在海边分别以后，回到了安置他的所在——雷州。雷州太守待苏辙很友善，让他住在官舍。由于对政治上的陷害无法理解与接受，他“收视内观，燕坐终日”，在自省的同时，研读佛学。
到雷州多半年后的二月二十日，苏辙过生日，收到了苏轼派人送来祝寿的海南所产沉水香山，同时收到的还有苏轼所作的一篇赋。因环境所迫很少与人往来的苏轼此时心里很不平静，挥笔写下了《和子瞻沉香山子赋》，他在序言中说：“仲春中休，子由于是始生。东坡老人居于海南，以沉水香山遗之，示之以赋，曰：以为子寿，及和而复之。”
接下来是赋的正文了，它的大意是说今天是我的生日，收到贺寿的礼品—沉香山。其山天然凿就6个洞穴，就像出人的路径一般；我想象山中必有6个仙女在此居住，多年来静居其中修炼仙道而不出外，世人也不知道；忽然有一天6位媒人来了，并带来了6份聘礼；仙女们经不住诱惑，纷纷嫁了出去，留下了这个空闲的仙宅。我在仕途上曾有段令人羡慕的腾达时期，但优患也潜伏在里面，并慢慢地通近了。自从青壮年时出外为官，如今成了牙齿松动头发脱落的老人，就像是失足从天上掉下来一般，来到了南海的北岸。受尽了苦后才领悟了人生的道理，现在只有弹指叹息：世上一切治国的说教都是空的，能有对与错的分别吗？色声犬马、灯红酒绿的生活固然好，但我为了坚持正义而不追求，如今落到这个下场能怨谁呢？只有这沉香木长在海南高山深谷中，风雨摧残使树死，又受到昆虫的咬啮，树的皮肤和肌肉烂坏了，现在仅存骨骼，其形就像一座险峻的孤峰，布有带仙气的洞穴。这可是上好的沉香木呵，有石头一般的重量，有蜡一般的光泽，点燃一块，到处都闻到香味，富贵人家见到这样的沉香木，不管贵贱非买下不可，可我现在躬耕自养，劳累一天后身疲气丧，鼻子不需要闻香味，把贵重的花草也抛弃了。现在东坡把这么珍贵且富户才消费欣赏的礼品送给我，其用意是取笑我，我难道能不明白吗？想得久了，不由得自己笑了起来，因为我已找到了追求学问的途径，就像叩响了学问的大门而没进人室内一样。可不是吗？古代学问高深的人，都是穿破衫吃粗饭。荣华富贵我本来就无心追求，现在处于这种境况更应该虚心学习以充实胸中的学问，消除浮躁以强壮骨气，不要使东坡听到我的行径而责骂于我。我“奉持香山，稽首仙释”，向神灵保证永远与东坡一样追求高深的学问。
苏辙与其兄唱和而作的此赋，表现了一种超然物外、淡泊名利的情绪，从中可得知他在雷州时期思想、生活状况。该文构思精巧，想象奇特，有较强的哲理性。
与苏轼在澹州的遭遇一样，这年四月，朝廷命湖南提举常平董必察访广西，苏辙也被逐出了官舍。苏辙无处可住，只好向老百姓租房子住。章悴还不放过他，乘机弹劫苏辙非法侵占民宅。朝廷派官员来调查此事，苏辙取出了租房的合同说明真相，章悖的企图才没得逞。章谆后来失势也贬到此处，同样无房可住。他向老百姓租房子，人们因厌恶其人品不愿出租房子给他，就说：“当年我们把房子租给了苏辙，差一点惹上了麻烦、现在轮到你了，我们怎么敢随便租给你呢？”
章惇虽然没有在租房风彼上给苏辙找上麻烦，但他不愿看到苏辙在雷州平静的生活，于是朝廷很快下诏，令苏辙移循州安置。这年八月苏辙到达循州。寓房城东圣寿寺，又重新开始了埋头读书的生活。
在循州，苏辙写下了一篇着名的人物传记，即《巢谷传》：
巢谷，字元修。父中世，眉山农家也。少从士大夫读书，老为里校师。谷幼传父学，虽朴而博。举进士京师，见举武艺者，心好之。谷素多力，遂弃其旧学，畜弓箭，习骑射。久之业成，而不中第。
闻西边多晓勇，骑射击刺为四方冠，去游秦凤、浸原间，所至友其秀杰。有韩存宝者，尤与之善。谷教之兵书，二人相与为金石交。熙宁中，存宝为河州将，有功，号熙河名将，韩廷稍奇之。会沪州蛮乞弟扰边，诸郡不能制，乃命存宝出兵讨之。存宝不习蛮事，邀谷至军中问焉。
及存宝得罪，将就逮，自料必死，谓谷日：“我汪原武夫，死非所惜，顾妻子不免寒饿，案中有银数百两，非君莫使遗之者。”谷许诺，即变姓名，怀银步行往授其子，人无知者。存宝死，谷逃避江淮间，会赦乃出。
予以乡间故，幼而识之，知其志节，缓急可托者也。予之在朝，谷浮沉里中，未尝一见。
绍圣初，予以罪请居绮州，自绮徙雷，自雷徙循。予兄子瞻，亦自惠再徙昌化，士大夫皆讳与予兄弟游，平生亲友无复相闻者。谷独慨然自眉山诵言，欲徒步访吾兄弟。闻者皆笑其狂。
元符二年春正月，自梅州遗予书日：“我万里步行见公，不自意今至梅州矣，不旬日必见，死无恨矣。”予惊喜日：“此非今世人，古之人也。”即见，握手相泣，已而道平生，遗月不厌。时谷年七十有三矣，瘦瘩多病，非复昔日元修也。将复见子暗于海南，予憋其老且病，止之日：“君意则善，然自此至俗数千里，复当渡海，非老人事也。”谷日：“我自视未即死也，公无止我！”留之，不可。阅其橐中，无数千钱，予方乏困，亦强资遣之。船行至新会，有蛮隶窃其案装以逃，获于新州，谷从之至新，遂病死。予闻哭之失声，恨其不用吾言，然亦奇其不用吾言而行其志也。
昔赵襄子厄于晋阳，智伯率韩魏决水围之。城不没者三版，县釜而舜，易子而食，群臣皆懈，惟高恭不失人臣之礼。及襄子用张孟谈计，三家之围解，行赏群臣，以恭为先。谈日：“晋阳之难，惟恭无功，易为先之？”襄子日：“晋阳之难，群臣皆懈，惟恭不失人臣之礼，吾是以先之。”谷于朋友之义，实无愧高恭者，惜其不遇襄之，而前遇存宝，后遇予兄弟。予方杂居南夷，与之起居出入，盖将终焉。虽知其贤，尚何以发之？闻谷有子蒙，在浸原军中，故为作传，异日以授之。谷始名毅，见之循州，改名谷云。
这篇人物传记剪裁得当，只写了巢谷早年与韩存宝的交往和晚年与苏辙交往这两件事，便突出了其侠义精神，还表现出了这种精神的一贯性。作者遭遇了一贬再贬，饱尝了人情冷暖、世态炎凉，当“士大夫皆讳与予兄弟游，平生亲友无复相闻者”之时，这位老者却不远数千里来探视自己，还要渡海去看望苏轼，心情当然是十分激动了，发出了“此非今世人，古之人也”的感慨。至于巢谷与苏辙“见之循州，改名谷”，可能是感慨苏轼兄弟处境如临谷中，借改名寄予同情了。这篇文章看似淡泊，但其中蕴含了强烈的感情，在对巢谷侠义精神赞佩与感激的同时，也表露了对当时世态的愤怒抨击，所以文中对比性强烈。这篇传记以叙事为主，且叙事生动。巢谷的言行，精神被写得活灵活显，极为传神。
元符三年（1100）正月，宋哲宗死，无子，由他的弟弟赵估继位，为徽宗。神宗之妻向氏以皇太后的身份垂帘听政，她恢复当年高太后的施政纲领，章悴集团开始失势，政局开始向有利于苏轼兄弟的方向发展。
果然，宋徽宗即位后的这年二月，苏辙被量移永州安置。四月，朝廷下诏命苏辙为漆州团练副使，岳州居住。他回到了中原，精神状况好多了，与兄长苏轼的通讯很频繁，只想着分别3年后兄弟俩的再次团聚。十一月，朝廷特授苏辙大中大夫，提举凤翔府上清宫。这个“宫”是虚职，是朝廷用来专门安排年老官员的，居住地一般可随便选择。苏辙因为在颖州有田地及家人，接诏命后就奔赴颖州。他几次给苏轼去信，极力劝说兄长也来颖州闲居以安度晚年，因为这年自己62岁，苏轼己65岁了。苏轼在回信中答应了苏辙建议，但后来政局有了变化，决定归隐常州，兄弟俩团聚的愿望就这么落空了。
