时人吕本中就说过这么一件事，说王安石再次为相，宋神宗已经对他不再是言听计从了，连王安石也对自己的亲近官员感叹道：“神宗能听我一半的建议也好啊。”言外之意是神宗不太重视他的意见了。
这次事情出现以后，不但宋神宗接近无法容忍王安石。也让反对派乐开了花，曾布、吕惠卿、邓绾这些人都是革新派的骨干力量，但出了这些事后，大家几乎都有这么一个共识，革新派都有些什么人啊，小人呗。大臣们有了这层认识后，变法之路势必更加艰难。
王安石当然知道这种情况。拖着沉重的步伐回到家后，他就大骂王雱，说你这个不肖子，干嘛背着老子胡乱攻击，招惹吕惠卿。但王雱也有点无辜，毕竟他压根就不知道老父亲跟吕惠卿还有这些书信的事。
在被王安石斥责以后，王雱迅速病倒，不久背上就长出了恶疮。长了疮不说，王雱整个人也变得精神错乱起来，他经常怀疑老婆庞氏对他不忠，给他戴绿帽子，甚至怀疑他的儿子不是庞氏跟自己生的，所以经常抱病跟老婆吵架，弄得家里鸡犬不宁，儿子惊悸而死，老婆也只得躲进一间小屋，没日没夜地哭哭啼啼。
王安石看见两口子这样了，做主让他们离了婚，王安石认为庞氏其实并没过错，担心他背上被“休妻”的罪名，还亲自给她挑了一个比较不错的新老公，十分隆重地把她“改嫁”了出去。
安顿了庞氏，就要面对生病的王雱。爱子病倒，王安石心痛如绞，他是个狠人，却也信佛祖，为给儿子治病，他请来和尚念经，又从泰州请来医生开药，但最终是没能救回王雱一命。
王雱死时，年仅三十三岁，这对王安石打击是非常大的，谁都不希望白发人送黑发人，本来心灰意冷的心也变得更加心灰意冷。王安石极为宠爱王雱，王雱不但是他的亲生骨肉，更是他政治上的支持者，也是他文学上的知音，是王安石生活中不可或缺的部分，现在王雱不在了，王安石受到的精神打击无疑是极为巨大的。
王雱死后，王安石的诗文风格也随之一变，多了些许哀伤的成分。据说有次王安石无意中看到了王雱的遗骨，不禁提笔写下了“残骸岂久人世间”这样的诗句，这在以前的王安石的作品中是看不到的。
王雱很小的时候就被称为神童，据说王雱几岁时，王家来了客人，故意要考一考王雱，以“一獐一鹿同笼”为题考王雱：“何者为獐？何者为鹿？”王雱几岁的小屁孩，哪知道獐和鹿是啥东西，不过才思敏捷的他却并没被这题难倒，想了一想即说：“獐边者是鹿，鹿边者是獐。”这回答让所有客人都大为惊奇，直呼王安石的遗传基因神了。
还有一次，王安石托人卖黄金，结果按“铢”零卖的黄金少于原来的“两”数，以前二十四铢等于一两，也就是说王安石原来称的黄金是几两，但在拆成铢来卖后，数字对不上了，少了，所以王安石起了疑心，很不高兴。
王雱就在一旁劝解老父亲说：“不要锱铢必较嘛，没有公平秤，整不到那么准的，你这又是何必呢。”听了王雱一席话，王安石才大笑而解。王雱非常崇拜王安石，他曾给王安石画了一副像，在题词上说他老爸是比孔子还伟大的人物。
长大后，王雱才能更加出众，世人就把王安礼、王安国、王雱合称为“临川三王”。据说王雱经常填些小词，当时的很多流行歌手都用他的词谱曲。就是在重病之时，也在乐呵呵地为自己大书《宋故王先生墓志》，书成后还张贴于自己床头。这么看得开生死的，历史上的人不多，王雱算一个。
不过话又说回来，王雱之死也不冤枉，因为有王安石这个大佬老爸，王雱自小毫气干云，看谁都不太顺眼，有点开毫车撞人那种富二代的意思，属于比较混蛋的人。举个例子，有次王安石跟程颢谈话，可能是有些唉声叹气。王雱也不打扮，像犯人一样留着长发，打着赤脚，戴着妇人的服饰就跑了出来，问他老爸说的是什么事，王安石说：“变法不顺利，老有人阻拦，所以找老程谈谈。”
王雱不以为然，很爷们地说：“砍了富弼、韩琦这些人的脑袋不就OK了吗？”看来王雱简直就是做事不用脑子想的人，王安石听到后也大惊，说这小子疯了。吕惠卿连王安石都收拾不了，王雱非要去踹，落得这个下场也算是自作自受了。
吕惠卿的反击导致了王雱的死，也让王安石无意再在政坛上混，但吕惠卿也并没有捞到什么油水。后来吕惠卿到延州打过西夏，在抗击西夏的过程中立过不少功勋，晚年官居泉州。其结局还算不错，去世后“赠开府仪同三司”。
而吕惠卿和王安石以前虽闹得不可开交，但自王安石退休以后，两人也似乎都看开了，经常书信往来，尽是“注意身体”之句，少了政治上那种激烈的交锋，多了友情般的互相关爱。
神马都是浮云
就在王安石为了儿子王雱的病，到处请神医的时候。开封城中有则谣言也在不胫而走。谣言的内容指向性相当明确，就是说王安石又准备不干了，要回江宁养老。
一心想当高官的邓绾听到这个消息后十分震惊，刚刚投靠了王安石，没想到靠山又要走鸟，如果吕惠卿重新上台，这下日子怎么过。为了证实谣言的真实性，邓绾连忙找到练亨甫摸底。练亨甫本来就是一个习惯恃才逞能的人，自以为了不起。
这会他还不知道邓绾与王雱合谋整吕惠卿的事情已经败露，还在那显摆，给邓绾杜撰了一个“王安石向神宗辞职，但是神宗皇帝没有批准”的情形，并唆使邓绾以自己最高监察长（御史中丞）的身份立即上表，给神宗说明王安石变法有大功，以此加强王安石的地位。
邓绾还真就这么做了，只是，小人邓绾的做法再次帮了一个倒忙。
很快，邓绾就上书宋神宗，请神宗给王安石的亲戚朋友都加官进爵，而且还要给王安石买些不动产，王安石的功劳，值得国家这样给他补偿。邓绾拍马屁没拍到马屁股上，反而拍到了马头上。
邓绾想方设法要留住王安石，完全是为了自己着想，这样露骨的做法谁见了谁生气。当神宗把自己的意见告之王安石时，王安石也觉得邓绾太不像话了，但事情已经发生，王安石不得不做出深刻地自我批评，检讨自己“失策”。这里，王安石也没为邓绾说好话，而是直截了当地说这样的小人不用也罢，朝廷应该废了他。
神宗正有此意，没多久诏书就下来了，邓绾和练亨甫都被罢官。一心想当官的邓绾最终搬起石头砸了自己的脚，罪有应得。他也实在是不明白王安石了，以为人人都像他一样，把功名利禄看得那么重。王安石谁啊，功名利禄对他来说，全是身外之物，神马都是浮云，没什么好留恋的。用这些浮云来引诱他，必会无功而返。
王雱死后，王安石受不了这个打击，虽然心里理解神宗对自己还存有一些信任，但那股隐退的心却前所未有的坚决起来。此后，王安石几次向宋神宗进《求退札子》，强调自己确实身体受不了了，头昏眼花的，看文件都有问题，而且一向过目不忘的本领也不灵了，经常忘掉一些事情。所以，再优厚的条件我也不在朝中呆了，我要回去养老学佛了。
宋神宗开始并不想接受王安石的辞呈，为了阻止王安石的举动，他甚至下诏不准王安石再进类似书札，只要是求退的奏书，一律原章奉还给王安石，而且宋神宗还有几次都想找王安石面谈。
直路没法走，那就走弯路吧，只要能达到目的就行。王安石给副宰相（参知政事）王珪写信，请王珪去劝劝神宗，允许他回老家种田。王珪也比较够朋友，接到王安石的信后，没有多想就把这封信交给了神宗。
神宗一看，又是这档子事，劈头盖脸就把王珪臭骂一顿，并下命令让王珪必须留住王安石。王珪这下真急了，皇帝这儿没法交待，王安石那也没办法啊。看样子王安石这次不像是玩的。
在王珪不知如何是好时，王安石又给他去了一封信，这封信比较有名，是王安石真实心情的写照，平时很少抱怨的王安石，在信中也不免唏嘘了几句。王安石先是感谢了神宗的提拔和欣赏，但是，想到变法再进行下去，有可能损害国家利益，每每想到这里时，我都决心要隐退。你一定要为我解释清楚。
王珪把这封信转交给宋神宗后，宋神宗终于有所触动，醒悟了。
在邓绾被罢免八十天后，宋神宗终于艰难地批准了王安石的辞呈。在王安石离京之前，君臣二人进行了最后一次谈话，宋神宗还亲自为王安石沏了一壶好茶。谈话中，两人的核心议题还是人事，也就是韩绛不在了，由谁来当这个宰相的问题。
最后，宋神宗接受了王安石的提议，以王安石的儿女亲家吴充和其好朋友王珪并列为宰相，另以冯京为枢密使，李定为御史中丞。值得注意的是，这次人事调整也涉及到苏轼，被调任为知河中府。
王安石认为，朝中由吴充和王珪主政，基本上是可以维护并完善已取得的变法成果的。后来的事实也证明，王安石这个安排是正确的，王珪虽然魄力不够，为人也比较圆滑，但他还能维护变法和支持宋神宗。相对来说吴充则有点摇摆，他又想召回司马光，又想保留青苗法、免役法、保甲法等，这样的人在过渡阶段还是有些用处的，至少不会把变法一竿子打死。
谈完话后，宋神宗真心地问王安石，说你这次走了后，什么时候可以再出江湖。
王安石摇了摇头，吟了一句李商隐的《安定城楼》：“永忆江湖归白发，欲回天地入扁舟。”表明了自己不再回归的可能。宋神宗仔细看了看面前这位五十六岁的老人，见他为国家事操劳至此，原先那个天变不足畏，祖宗不足法，人言不足恤的勇士消失了。宋神宗心中不忍，叹息一声，终不再挽留。
君臣二人都知道，属于王安石的叱咤风云的时代已经结束了，神马都已成为浮云，不能再来。由于旧情未了，宋神宗给王安石依旧保留了几个爵位，王安石这次罢相，并非是遭受贬谪，而是真正的、实实在在的、主动的退休了。
宋神宗还想送王安石五十斤黄金，被王安石一口回绝。以前王安石就把钱财之物看得甚淡，现在仍然如此。他早已将府中需要带走的东西打点好，他不想带走相府内的任何东西，老婆吴氏找了一圈，想把自己舍不得的那张两口子用了多年的楠木床带走，当他找到王安石通融时，也被王安石婉拒了。过往的一切都是梦，带走了又有什么意义呢？
次日，王安石策马离开京城。再见了，大宋王朝，再见了，未竞的变法事业。
在回江宁的路上，王安石也爆有新闻。“宰相肚里能撑船”据说就是王安石在路途上创出来的。故事说的是王安石只带着家人回家，为避免沿途地方官前来迎送，打扰居民，他嘱咐家人不要透露他的官职，只称作过往游客。一名童仆不依，反问说：“相公微服潜名，倘或途中有人毁谤于你，如之奈何？”
王安石从容地说：“宰相肚里能撑船，从来人言不足恤；言我善者，不足为喜，道我恶者，不足为怒。只当耳边风过去罢了，切莫揽事。”就这样，王安石一行缓缓而行，一路上，王安石遇到不少对他推行新法进行攻击谩骂的人，但他都以一种宽大的胸怀，宽容了他们。人们因此非常佩服他。于是乎，“宰相肚里能撑船”这句话也便流传了开来并用到现在，可见，王安石对汉语的丰富多彩也是做出了不可磨灭的贡献的。
熙宁九年十月，在初冬的肃杀与清冷之中，王安石与老婆携带着爱子王雱的灵柩回到江宁。早在熙宁八年王安石复相之后，他就托江宁的朋友在江宁城外购置了一块土地，作为退休之用。
王安石一直想在江宁城外筑一个园子养老，现在，这个梦想终于可以堂堂正正地实现了。他在这里修盖了几间房屋，种植了一些树木，稍稍作成一个园的模样，就成为他的府第。其实也就是一个仅能遮风蔽雨的所在，王安石倒是乐在其中，将其取名为半山园。
宋神宗还是没忘了王安石，在王安石生日之际，照例送来大批礼物，以示慰问。十月时，太守叶均与转运使毛抗、判官李琮等三位省级领导干部的手下无意中打扰了王安石家人，把王安石老婆吴氏惹得很不高兴。
三位领导知道后，连忙赶到王安石宅中道歉，本来吴氏批评几句也就算了，不巧的是，宋神宗正好派了一名内侍来江宁看望王安石，见到了这个事情，就回京向宋江神宗打了小报告。神宗一听大怒，不问青红皂白，把三人全部免职，同时特意将王安上从饶州调任江南东路提点刑狱，以便就近照顾王安石。
在江宁，王安石日子倒也过得逍遥，但与他政见素来不睦的苏轼却还在官场经历着波折与煎熬。
