“能艺通神事事工”，这是同治十一年春，戴望对赵之谦各类艺术造诣的总评。
但意在一展经济之才，造福人群的之谦，此际却已从繁弦密管的艺术舞台，急流勇退，开始谢幕。
如果不是知友祖荫的催促勉强，使他在篆刻艺术方面结出最后一年的丰硕果实，他的刻刀将和画笔一起束之高阁了。
同治九年的隆冬岁暮，之谦冒着严寒为友人紫珮作设色花卉四屏。
象征千秋万岁的桃实，百子千房的石榴，绵绵延延挂满一架的葫芦。
他在第四屏画着满树姿态各异的佛手上题：
不擎力士拳，且把如来臂，谭禅向天龙，又悟非一指。之谦为紫珮尊兄大人属画，同治九年十二月这四屏花卉，无论笔墨、布局和境界，都称得上他告别画坛前的力作。同月，又为友人研孙作《茶花梅花》，款题：
雪窗遣兴，为研孙尊兄。同治九年十二月，赵之谦记
这时的之谦，也正紧锣密鼓地准备在十年的春闱作最后的一搏。这种雪窗独坐的景象，友人于跋之谦诗集时，描写得最为生动：
老赵雄强无与竞，一画一书见天性，肥皮厚肉痛刮磨，奇骨森森写孤劲。一卧马市淹朝昏，寒风萧飒吾打门，坐出新诗若枯树，霜落枝叶春含恨。
由之谦继子寿佺所述《先考叔府君行略》中，述及之谦屡试春闱不售以后的叙官过程：
乙丑会试，房考江都薛公斯来，呈荐甚力，主试者以经艺多援古书，屏勿售。挑取誊录。嗣屡试皆报罢；府君知时之不可力争也，无复有进取志。先是以国史馆誊录议叙知县。及辛未榜后，遂呈请分发江西。
由此可知，之谦于同治四年落榜后，以举人资格参加“大挑”，被选为国史馆誊录。但可能像胡澍捐官那样，因候补人多，无法占到实缺，他们无官一身轻，才得连年离京，悠游于江南。
同治七年，之谦再次潦倒春闱，行略指为“议叙知县”；但由之谦给魏锡曾和舒梅圃信中，可知名为“议叙”，实为“入赀捐官”。同治十年的第三次入试时，之谦早已对八股取士方式及考官对文体、人事的种种偏见，心灰意冷，仅以姑且一试的心情再次入场。所以未待榜发，他已开始整理北京寓所，有些书画旧作分赠友人，有些应酬作品，题上“倚装作”的字样，作永别帝乡的准备。
所谓“及辛未（按同治十年）榜后，遂呈请分发江西”，实际是捐款上兑之后，由户部“掣签”决定分发到哪一省候补，可谓身不由主。因为所分省份的巡抚官声如何，官缺多少，都影响到候补者前途，掣签不失为减少纷争的办法。
同治十年考前，之谦为鹭汀所作设色《蔷薇图》折扇，就已经开始“倚装”而作了：
鹭汀四兄大人属画，同治辛未春正月，叔弟赵之谦倚装作并记同月，捡赠松窗的《梅花》横幅，是幅无款的旧作，友人喜爱，遂补款以之谦同时捡赠友人云楣的旧作山水，是他难得一见的作品，从中可以见出他山水画的造诣，不在花卉之下，也使人对他从青年时期就停画山水，感到惋惜。其实，他时至盛年，即为了做个七品小吏而放弃书、画、篆刻及诗各类创作的发展，更是令人叹息、怅惘。
那是一幅具有高远之美的条幅，笔墨风格近似元四家中的吴镇。一叠叠高峰远瀑，近处，陡峭的巨石上面，苍松横斜，石阴藓苔密布。石壁前方，远树衬托下，几椽宁静的草舍，点出一处世外桃源。画本无款，之谦在右上角补题：
同治壬申正月，将出都门，检点旧作，分贻友朋，此帧即归云楣仁弟补壁。之谦记暮春时节，天气渐暖，继寒梅之后，杏花、桃花相继开放。之谦此次南还，因有候补官职在身，所以是以“乞假展墓”为名。对沿途的北方农村景色，也备感留恋。
推测到南京稍事停留，与好友戴望在金陵书局评诗论艺之后，遂前往沪渎，也可能前往上海西南松江府辖下的川沙，往访同年旧友沈树镛，然后取道杭州和绍兴。
在上海，他为同客此一海口都市的葵衫，绘制墨梅纨扇，上题：
葵衫仁兄同客沪上，属画墨梅。壬申四月，弟之谦记七月初六，主持爱女桂官（一称桂姑）的行聘礼，是之谦此行的一件大事。余则与友人傅以绥、新掌上虞县的王晋玉等欢聚，为他们作书画扇；却没有再动刻刀。为舒梅圃所作，以篆隶兼草法而为的《古松图》，即为孟秋的合意之作。
战后，傅以礼（节子）捐官福建。八月，其兄以绥（艾臣）知之谦行将前往江西赴任，二十余年友情，备感依依，倩之谦书联，之谦集《水经注》十六字，行书以赠。
从此时开始，之谦书画款识中，不时出现“将有江右之行”或“倚装作”的字样，显得人在杭州，心早已到了江西省城南昌。至于到南昌后，能否顺利补缺，或仅能由上宪札委一些零星差使，均在未卜之天。
中秋节前后，他为黄岩友人孙懽伯作篆书《潜夫论》四幅。惟究竟是懽伯游杭，或之谦再次前往黄岩教授书院，审定金石，则不得而知。
九月，他为王晋玉行书纨扇之外，忆及同治八年从温州同游乐清沐箫泉的往事，又作了一面描写沐箫泉胜景的山水扇。
之谦江西之行，所以迟迟未启程，推测可能在等待吏部派官文书。在漫长的等待中，友人程耀庭前来为明斋索画。
明斋是浙江第二品弈手，之谦闻名已久，却缘悭一面，这次托人求画，眼见作竟日手谈的愿望，又要落空。
之谦自幼好弈，对弈艺高超的弈手，心怀敬意。
同治二年冬，在北京和高龄一百零一岁的棋僧秋航对弈、赠诗，至今印象犹深；当时他已有撰《善弈记》的愿望，想将入清以来两百多年间三四品以上弈手生平和弈棋的造诣，写入书中。但似乎未如他撰《勇卢闲诘》般剑及屦及，如期草就。
经过几次春闱失意之后，之谦越发觉得“是非毁誉皆无准”，只有弈盘上的功夫，光明磊落，高下分明。也因此，虽然在整装待发的十月，他仍旧立刻答应为明斋画扇。
之谦这幅《石菊》，构图相当奇特，位置在左上方的石，似山非山，似岗非岗，也不是一般造景中的太湖石。石质坚实，前后分明，有如泰山压顶，下面虚空一片。右下方，和石相呼应的，是一枝独秀的硕大秋菊，在三数片墨叶衬托下，孤芳自赏地绽放着。菊花上面款署：
同治壬申十月，赵之谦倚装作
右下方则题：
明斋二兄精于弈，在吾浙居第二品，慕其名久矣。俗事倥偬，不获手谈。顷将远行，程耀庭来为君索画，复不克相见作手谈，记此以俟他日。
之谦对善于弈艺者的敬重，始终如一；好友“寒松阁”主人张鸣珂（公束），在《寒松阁谈艺录》中，记述两则之谦在江西的故事。
江西新建人勒公遂（深之），为河帅勒方锜之子，能诗，擅瘦金体书，书学戴熙、文徵明；围棋、击剑以及声色犬马无一不能。惟功名不偶，和之谦一样潦倒科场，是位明经。
邂逅于南昌之后，公遂与之谦谈论弈旨，深刻明畅，之谦大表折服，遂成好友，传为江西士林佳话。
新拜湖北巡抚彭芍庭幕中，有位善弈的钱芳圃。因慕之谦弈名，对张鸣珂表示：
行将适楚，能得一见叔则幸矣。
张鸣珂将话传达给任职江西通志局的之谦时，目空余子的之谦闻钱芳圃三字，竟遽然一惊说：“是人善弈，我不能敌也。”立刻挑灯作十余纸的长信，表达心中诚挚的仰慕。
次日，由鸣珂做东，在南昌名胜，东湖北端的曾文正公祠，宴请两位初识的弈棋高手，谈笑竟日，尽欢而散。
从这些小事，可见出性情兀傲的之谦，一旦遇到衷心佩服的人，所发出的真诚敬意。
由之谦为友人六皆所作《墨梅》、为同年练溪太守所作《岁朝图》的时间推测，他动身前往江西，可能在同治十一年的十一或十二月。
枝繁花茂的横幅墨梅，梅树前面的太湖石，画得水墨淋漓，颇有徐文长放笔横扫的万钧之势。款题：
同治壬申十月，将之江右，为六皆仁兄画此赠别。之谦另一幅与前幅画上款的“六皆”有关联的，是为同年友练溪所作的《岁朝图》。
《岁朝图》上面，有几件铜尊、铜鼎、铜瓶之类的吉金拓本，为六皆手拓，之谦挥毫在墨拓上面加绘各类绽放的花卉，把古色古香的金拓，装点得喜气洋洋，给新年带来了新的生机。上题：
同治癸酉（十二年）岁朝作，为练溪五兄太守。六皆手拓吉金，叔补画并记。
这幅画可能是之谦到南昌候差时的初作。而他到南昌的时间，推测就在画这两幅中间的冬月前后。
令之谦悲痛、感伤的是，就在这年前年后数月之内，他连丧两位知音密友。
同治十一年二月，之谦南归之前，身体羸弱多病的胡澍，驰书给叔祖胡培系，表示退隐著书的心愿；不意这就是他的绝笔。八月十四日，竟以四十八岁盛年辞世。
胡澍入京之后，像之谦一样为沈树镛考定金石，为潘祖荫编辑《唐释湛然辅行记》，很受潘氏礼遇，此外，也以医术交游公卿间。由于身后萧条，祖荫、金石友王莲生、缪梓幕中同仁王西垞为他治丧，并送胡澍灵榇及眷属还绩溪，以及出版他的遗著。
之谦与他是幕中同仁。咸丰十年暮春，杭州第一次收复后，两人在绍兴东关比邻而居，朝夕相聚。在北京先后十年岁月，埋首金石，共同游憩，情逾手足。之谦生平刻印，沈树镛、潘祖荫外，也以为胡澍、魏锡曾所刻为多。但在胡澍生命最后半年，却以补官远行，想来不无遗憾。噩耗传到杭州，之谦设灵位，焚香哭奠。
同治十二年岁朝，之谦为同年友练溪作《岁朝图》之际，正是戴望染病之时，本来只是微不足道的小病，但自从梦到亡友相招前往，便自知不起，二月二十六日回归道山，年仅三十七岁。戴氏娶妻无子，家境清寒，温州友人孙诒让、海昌友人唐仁寿，出资归葬德清县。出售戴望生平藏书，用以出版他的遗著。之谦于到南昌的第三年——光绪元年，为戴望刊行《谪堂遗集》四卷，亲自作序，慰亡友于九泉之下。
此外，好友沈树镛，好与人争论书道的何绍基，也于这一年辞世。
之谦率子女仆从到达南昌，已近岁暮，待觅屋安家之后，江西各地方官吏纷纷到省城向巡抚及藩、臬两司贺岁。其中不乏浙江同乡，与之谦互相拜年话旧。待各个官厅开印办公，已经是同治十二年正月下旬。
一到候补知县官厅，才知道单是候补知县，人数就十分可观。每个人都在拉关系、找门路。补不到实缺，只求能轮委到代理知县，或短期的差事，也就心满意足。其他如候补同知（司马）、知府、道台（观察）等官厅，莫不人满为患。
在京中，只听说各部院候补司员之多，有时候到须发花白，尚补不到一差一缺。想不到大笔银子捐来的知县和府道，也是如此。
闲时，各候补官，不免交换起捐官的过程和“心得”，据说，要想捐到知县实缺，尚需白银一万多两。加捐知府，即使有门路可走，仍要两万。如果想得到厘总办、盐道之类优差，则非二三万不行。
定期前往巡署参衙的之谦，一时得不到委差，更无从实现牧民的理想，感到宦海茫茫，对于未能留在家乡从事笔砚生涯，悔恨交集。他在给友人杨杏帆信中，述说苦况：
弟到省数月，仍是闲居，薪桂米珠，支持不易。曰典曰质，囊已空，悬磬之嗟，不堪言状耳。
闻说有招考医生之举，他也恨自己不懂医道，只能白白看着：
潘中丞（按，苏州吴县人，潘霨）在百花洲考试人员，岂知所取者系医生；开局施药，弟非所学也，奈何，奈何？手此奉告，少达多穷，附之一叹而已。
至于南昌生活花费到何种程度，他在寄杭州舒梅圃信中，有比较具体的说明：
日用应酬，支持不易。赣地之柴米，较吾浙价贱，惟房租甚贵，每月须在“栏杆之数”，且室小不新，勉强可以容膝也。将来得一差使，再作迁计。
到了春夏之交，江西巡抚刘坤一（岘庄），札委之谦任《江西通志》总编辑，才使他历经大变动的情绪，逐渐安定下来。
刘坤一，湖南新宁人，与王闿运为旧友。坤一以秀才从军，屡建战功；对之谦而言，这是不由进士出身，却奋斗有成的最好例子，可惜他没有刘巡抚那么幸运。
识者以为刘坤一朴讷有道气，虽在客中，也像居家一样自自然然。谈及外患内侮，时局现状，常会慷慨挥泣。他本望担任两江总督，因此对授命为江西巡抚，颇为怏怏。
他久闻之谦干才，和之谦在文史考据方面的素养，希望能把废置多年的《江西通志》顺利修成。
无奈志局事情繁重异常，待遇奇差，每月只有三十金，依旧难于维持。之谦寄简杭州，向梅圃叙述眼前的困境。
此间志书一差，弟之薪水按月仅三十金，八口之家焉能敷衍？叹命运之蹇蹇，怅宦海之茫茫，所以加捐花样一层，至今不克如愿，空拳莫奋，徒唤奈何。
“花样”，指的就是白银；“加捐花样”，可能是希望能捐到知县实缺，另一个可能是更上层楼地捐同知（司马）或知府。
捐到实缺知县、同知或知府，不但握有地方行政权，也可以超脱候补官进退维谷的窘境。
他希望梅圃能代他向旧同僚王西垞和另一位友人抑士借贷，并誓言一但有了优缺，连母带息，一并奉还。
