乾隆心情自然好，但纪晓岚却没体会到这一点，他总认为自己身为内阁学士又官至正二品的礼部侍郎，总得有所劝谏，于是，一向幽默、机智的纪晓岚此次竟然一本正经地讲起反对巡幸的道理。纪晓岚立足点是：夏商周三代天子巡幸是有必要的，是政务需要；到了秦始皇则完全成了游乐活动，已没必要。为了支持“秦皇巡幸，大可以已”的观点，他还举了隋炀帝因巡幸而亡国、明武宗因巡幸而丧身的例子。结论是：“为人君者，但洗濯其心，用贤退不肖，天可自可平治，尚多巡幸何为？”不料此论一出，立刻惹火了乾隆，他破口大骂：“你不过一介书生，怎么敢妄谈国事？朕认为你文学水平不错，才让你主编《四库全书》，实在是蓄养了一名倡优！”
乾隆这一狂骂不要紧，没人笑话皇帝失态，反倒是纪晓岚“倡优大学士”的诨号叫响了，时称“哗于辇下”，用现在的话来说是“北京人都知道这事儿”。纪晓岚又羞又恼，就算乾隆再赐他十回“奉旨纳妾”也换不回他的自尊来。他决定辞职，回家养老。此时纪晓岚56岁，说“告老”未尝不可。但是乾隆不愿意，别说《四库全书》没编纂完工，就是年龄这一项也不行：“你比朕的年龄小一截子，怎么能说自己年老了呢？分明是诈言，赶紧进入工作状态，别自讨没趣！”
在连哄带吓之后，又说：“朕还要南巡，带上你，让你也看看民间的繁荣景象，免得你坚持自己的错误观点。”
到第2年初准备第5次南巡之前，乾隆变了卦，对纪晓岚说：“我本来想叫你随从南巡，但考虑你编纂《四库全书》的工作量不小，就算了。况且，你读书很多却未得到其中要领，现在多经世事也没什么益处，不如以后再说。按演戏的套路说，你现在才修眉饰面，还没到粉墨登场的时候。”对于皇帝的出尔反尔，纪晓岚十分反感，但又没法发作，只是绝口不再提有关南巡的话题，就是乾隆咨询其他军国大事时，纪晓岚也推托：“自己不过一介文人，对军国大事实在不懂。”
分明是闹情绪嘛！乾隆看得出来，在出巡之前又改了口，对纪晓岚说：“这次南巡还非叫你去不可啦！第1次南巡带张廷玉等人去，帮我处理文稿，不太合心意。这次就专门责成你来办理，你要好好干，别辜负了朕的好意！”于是，纪晓岚随乾隆南巡，每日忙着处理乾隆的作品与往来诗文。就乾隆的作品来看，有的是旧日之作，需要订正，有的是时下新作，需要润色。按文体分，有诗有文，更有预先准备赐给所经地方耆老人物或名胜古迹的文字。
这里面，乾隆动着心眼儿。他不想让纪晓岚再向他进谏，以扫了南巡的兴头儿，也不想让自己在外面落个拒谏的坏名，毕竟刚刚结束的君臣争吵太伤害纪晓岚的自尊心了。纪晓岚没看透乾隆这个心思，他以为自己耍态度，对军国大事“谢以不敏”就迫使乾隆此行从简，不再荒淫。所以，他还是希望通过进谏的方式来洗去“倡优大学士”的耻辱。
需要多说的是，那时北京人无论官民，都挺坏的，尤以传播官场上的小道消息与给官方事件添油加醋为能事。本来纪晓岚是从二品的翰林院掌院学士，就算以礼部侍郎的正二品计，也称不上“大学士”。大学士是一品两级：殿阁大学士为正一品，与太师、太傅、太保同级；协办大学士为从一品，与少师、少傅、太子太师、太子太傅、太子太保同级。北京人不管那么许多，把纪晓岚的实职翰林院掌院学士抬高到大学士，无疑加重了对纪晓岚的羞辱。
纪晓岚能随乾隆南巡，并每日埋头处理皇帝委托的文稿，虽然心情好了一些，但他难忘“倡优大学士”诨号带来的耻辱，总想找机会洗耻。乾隆南巡到扬州，大寻烟花之乐，终于让纪晓岚找到了机会，他与同僚们说：“我一定强谏，假如不幸被杀，与夏朝的龙逢与商朝的比干一起游于地下，也比顶着倡优大学士的帽子要强！”说罢，他就由住处动身，径直往行宫而去。
到了行宫，他对内侍人员说有机要事宜需要面奏皇帝。内侍马上去告诉乾隆，一会儿得到答复，对纪晓岚说：“皇上命你将处理好的文稿放在行宫的某一个房间里，而后去平山堂戏院看戏，不必在行宫久留。”纪晓岚见乾隆想打马虎眼，就对内侍人员说：“我不是来交处理好的文稿的，而是有要事面奏圣上。你们再去通报一下。”内侍们明白纪晓岚的心思，互相挤眉弄眼，就是不肯进去通报。他们不去，纪晓岚就耐着性子催促。其中一位较为狡猾的内侍劝说纪晓岚道：“老先生您还是回去吧！皇上既然不愿听您说什么，您就没必要唠叨啦！您看演戏了没？看戏的人都困倦了，想回去睡觉了，演员演得再好，也没人喝彩，是不是？老先生您既然专职处理文稿，就埋头写作算啦！管别的事儿干什么？！您呀，回去，如果有文章往上递，交给我，我给报上去。”表面是好心劝说，实际上是一通挖苦，纪晓岚不好向内侍发怒，但改为等皇帝出来，见面上奏。
好，好，你等吧！狡猾的内侍见纪晓岚坚决不走，也没办法，微微一笑后，就不再与纪晓岚说话。当时正值正月，扬州虽是长江沿岸城市，天气仍然很冷。年近60岁的纪晓岚耐不住广庭寒风，冻得手脚冰凉。另一位心地较好的内侍对他说：“皇上今天身体倦乏，一切人来都不见。先生您要是带了缮写清楚的奏折，我可以代您传进去。”纪晓岚一想，此话有道理，就请该内侍拿来纸笔墨，写下了一份万言书。正所谓“一挥而就，顷刻万言”。
他的万言书大意是说：“陛下南巡，应当节省开支，以观民俗，此于治国之道关系十分重大。民间瞻仰圣上的威仪，并能与皇上交流意见，就不是一般意义上的巡幸了。但是，这次南巡自出京到扬州，一路纵于淫逸，路上至所也盲无目的。在驻跸的地方，倡优杂进，玩好毕陈。现在，国家是承平无事，巡幸一番放松精神也未尝不可。但是，在都市里纵情淫乐，是对皇帝威严的损害。希望陛下念祖宗创业之艰难，后世守之不易的道理，以及盈虚天道的告诫，不要再给老百姓增加额外负担。在盛时能察觉到危险，才不至于招来奇祸。”纪晓岚说的话很直白，至少涉及老百姓因皇帝南巡而负担加重的问题是事实。如乾隆时代的无锡文人黄卬在其笔记《酌泉录》中记载道：“今皇上每出巡必具营帐，故接站为之。邑有二：一处在石塘湾之北，曰北营盘；一处在望亭，为南营盘，合两处约费民田六百余亩，高约三尺，排筑俱用民夫。四围用大桩无数，约入地五尺，俱用大铁条勾连以固之。桩内用木板障之，土用山泥黄沙。每填土一层，用巨石系索，筑令坚实。其面用细土合油灰筑之，光润可鉴。至十六年正月大雨奇寒，及解冻，地皆泥泞，复雨不止。为期既迫，上官切责，县令痛不欲生。后少霁，役民无算。晓夜填筑，始幸无事。”
且不说占地600亩筑为高台（营盘），只说县令“痛不欲生”之状，就太可怕了。百姓俗讲“要命的知县”，若是县令都“痛不欲生”了，哪还有百姓的出路？多亏老天爷可怜，有了“少霁”即稍微放晴的恩赐，才让“无算”即数不清的民工不分白天黑夜地完了工。
“始幸无事”，所幸没出什么差错！
“痛不欲生”的县令保住了命，他还得按官场惯例借国家大事搂些钱财，比如说“捉船”而索贿，即是“以国家的名义”强征民船供役，见船就扣，但是船主拿些钱出来，还是可以放行免役的。黄卬记录道：“又有扛抬夫，一派二十余人。县无牌票，但以口督办，盖以明禁加派故也。每天发工食银二钱，民间雇工须二两，回銮则派夫加倍。自十五年春，已有捉船之令，乡舟入城，县役拘住，索贿得免。”且不用研究县役放船索贿得到的收入将多少分成给了县令，但看县里“以口督办”的方法，就可称为绝顶聪明。因为，一来留不下书面证据，即不给县里的牌票，免得被差派的百姓拿牌票“顶账”，比如县役再去饭馆要人手，人家就拿牌票出来说话：“看了没？我已给你们干过活了！”这第二项则是经典的“上有政策，下有对策”，县里没签发牌票，上级官员就找不到增加农民及商人负担的证据。不过，回过头来讲，县里也不容易，上级只说不能增加农民负担，可是迎接皇帝南巡的大事还得办呀！
更绝的是，为节省政府开支，县官们从没牌票为凭的雇工身上揩油儿，市价日工二两银子，我这里只给二钱，省了九成的开支。这是第1次南巡的情况，到第5次南巡时，已经近30年的时间，纪晓岚等北京高官早已从各种渠道了解到了实情。更为要命的是，地方大员为了迎合皇帝的私欲，还多借民间资深绅士的名义上报，请皇帝南巡。在地方高官当中，后任与前任或隔任要拼比，对皇帝的接待安排一次比一次规模更大、花样更新。这些实情，更迫使对帝国命运较为负责的纪晓岚上书干预南巡活动。然而，纪晓岚哪里知道乾隆不仅要体验盛世帝王的历史快感，而且还要找到凡人生活的趣味。这样的情况在他之前早已发生过，除了纪晓岚喋喋不休的建议中引述的“反面教材”隋炀帝与明武宗之外，更为有名的则是北宋徽宗赵佶。赵佶经常轻车小辇微服出宫，到当红名妓李师师那里去幽会。李师师真实存在于历史，而遗憾的是乾隆不仅在北京找不到大清版的李师师，即便多次出巡也未见其人。看来，到了大清盛世不仅皇帝的品味远不及历史上的同类优雅，就是妓女也今不如昔了。
