有一回谢万与谢安偶过吴郡，谢万想去拜访在此为官的王恬，谢安劝止不住，只好由他。
王恬正在家中研究棋谱，见谢万前来打扰十分不喜欢，勉强陪坐片刻便起身入室。
谢万暗喜，以为主人家将下厨款待我矣！
谁知等了半天，却见王恬披头散发而出，也不管他，只顾自己坐在厅门口晒太阳。
原来王恬刚才是进屋洗头去了。
谢万怒极，拂袖而去。
谢安在桥头等他，谏曰：“弟如今可知任诞之害了？”
谢万不能改，后来遂有中原之败……
这次随谢万一同到东山的还有谢安的妻兄，即曾被孙绰品评为“清蔚简令”的刘。刘为官简单，所谓“十天一小坐，一月一大坐”，极少坐衙管事。
孙绰曰：“此子居官无官官之事，处事无事事之心，绝了。”
如今朝廷中人都各有其绝处，桓温“霸绝”，王述“痴绝”，刘“懒绝”，郗超“贪绝”……
谢安不愿为官，看来并非无因。
除谢万刘二人来东山探看外，谢万之子谢韶，谢据之子谢朗，谢奕之子谢玄、女谢道韫随母亲也跟着谢万一起来到了东山。
寂寂山居，平添生气。
谢据早夭，谢奕还在建康混迹官场，谢万故把三子送到了谢安身边，实欲谢氏长存。
眼下又到韬光养晦的时候了……
此时此景，仿佛当年。
昔，王敦作乱，谢鲲受惊而死，谢氏一族岌岌可危。那时谢安之父谢裒带领全族韬光养晦渡过了难关，如今这担子又落在了谢安身上。
莫非上苍无聊，只会玩轮回的游戏？
谢万到了东山，雅兴大发，观四明山水，作《春游赋》。其词曰：
“抚鸣琴而怀古，登修台而乐春。尔乃碧岩增邃，灌木结阴。轻云暧以幕岫，和风轻泠而启衿……”
倒是一篇佳作。谢尚在建康听人颂起，伤感不已。
谢安亦雅好诗文，然不多作。曾与王胡之唱和六章，精妙入神。其词曰：
“鲜冰玉凝，遇阳则消。素雪珠丽，洁不崇朝。膏以朗剪，兰由芳凋。哲人悟之，和任不外不寄傲，内润琼瑶。如彼潜鸿，拂羽云霄。”
“朝乐朗日，啸歌山林。夕玩望舒，入室鸣琴。五弦清激，南风披襟。醇醪淬虑，微言洗心。”（这两首分别是谢安原诗的第一章与第六章。）
非常优雅。
因见谢安文词清丽，有友笑曰：“此诗倒像是情诗，此老盖隐于情也。”
谢安闻之失笑。
王胡之为官前穷困潦倒，富人某某欲济之，王胡之大言道：“要吃饭我自会向谢安趁去，谁要你的臭钱？”
二人如此交心，士林传为美谈。
谢安有次在山中宴请朋友，正畅饮间，王胡之忽然闯入，抢坐狂吃滥饮一通，复笑而去，口中狂吟《国殇》：“入不言兮出不辞，乘回风兮载云旗。”如入无人之境。
诸友皆道：“王家子弟果然狂放。”
谢安笑饮一杯酒：“吾谢家子弟又如何？”
许询道：“谢家子弟不逊于王氏也。”
谢安环视座中子侄，微笑不语。
谢安的东山别墅在四明山中，山不很深，出山五里即是土人村庄。谢安常到村中，或与村老共话于爪棚之下，或与渔夫对弈于柳荫之中，逍遥自得。有时他身穿彩袍，身旁又常有美女作伴，村人疑是神仙。
别墅分东西两边，西边是“东山院”，即上次王羲之父子前来的地方，谢安夫妇并小妾数人，及谢琰居之。
东边为翠篁馆，诸子侄居之。
