刘墉在太原知府任上巡视各县仓储时，查出一件棘手的事情：阳曲县令段成功任内亏空库帑达万两！而且没有手续，显系侵吞！
段成功在山西官场可谓左右逢源，很有势力，并在三年任满后由和其衷举荐作了苏州管粮同知，而巨额亏空却留了下来。也正是因为和其衷等人与段成功亏空官帑有直接关系，加之又有失察下属亏空、举荐有过失下属的责任，因而当刘墉将情况反映到巡抚和大人那里后，和其衷便把事情给压了下来，不让他继续追查段成功的责任，而仅摊派各属加以弥补。
乾隆三十年（1765年）年底，巡抚和其衷调任陕西巡抚，冀宁道富勒浑调山东按察使，刘墉升补冀宁道道员一职。
就在刘墉升任冀宁道后不久，四达在江苏审查段成功案件时了解到江苏官场维护段成功的情弊，遂将苏州知府孔传珂、按察使朱奎扬革职治罪，并把情况报告了乾隆。这时，山西方面也有人将段成功在阳曲亏空及上司代为摊派弥补的事也报告了乾隆。乾隆得悉情况后特别谕令新任山西巡抚彰宝严肃查处段成功在山西任内亏空官帑一案。
在乾隆严词要求下，彰宝很快就将亏空、弥补的实际情况上报给了乾隆，乾隆随即派四达到山西主持处理段成功亏空的案件。
乾隆三十五年（1770年）二月十一日，乾隆在上谕中指出：“今据奏，段成功于升授同知时亏空银一万两以外，上司知情弥补，俱属确实。此事可谓大奇”，“段成功仅一县令，何至亏空竟如许之多，既云首邑用度较繁，亦不应枉费如此，而通省各上司何以互相容隐，竟无一人举发其事”。刘墉等人遂被革职审查，后连同和其衷、段成功等被押往北京审讯。
乾隆三十九年（1774年）四月五日，和其衷、刘墉等人被押解到京，军机大臣等遂奉旨会同刑部对案件进行复审拟罪，段成功、和其衷、文绶、刘墉四人被拟处斩。后经乾隆复批：段成功著即处斩；和其衷著改为应斩监候，秋后处决；文绶、刘墉并著从宽免死，发往军台效力赎罪；蓝钦奎、富勒浑引见后降级使用。其中富勒浑后被解山西雁平道；文绶次年获道员衔，派往哈密办事。
刘墉的流放地史无明载，据资料分析，可能是西北一带。客观地说，刘墉在山西的四年时间里，特别是在太原知府的三年任期里，确实做了一些实事，因而受到人们的肯定，但亏空乃是最大的败政，与侵贪之罪同等对待，因此，他受到流放的惩罚。
乾隆五十二年（1787年）年初，刘墉因泄露嵇璜、曹文埴的去留问题，受到乾隆的申斥，以至本应获授的大学士一职落在王杰头上。乾隆五十一年（1786年）十二月，大学士、军机大臣梁国治卒，当时已有两位满大学士，按例大学士一缺应由吏部尚书、协办大学士刘墉递补。当时乾隆曾与刘墉交谈，说大学士嵇璜年老体迈，如果请求休致回籍，“不忍不从”。刘墉遂将此事泄露给嵇璜，乾隆认为，这是刘墉觊觎补授大学士的明证，是谋官的丑径，因此大加训斥和惩罚。
就这样，刘墉由于泄密，将到手的大学士丢了。
乾隆五十二年（1787年）八月初，刘墉受乾隆委托主祭文庙。
按规定，主祭官于上香、献爵、饮福、受胙等祭礼后，应行一揖之礼。而刘墉此次主祭时或没有听到引赞官的唱礼，或是认为没有必要，总之他没有行一揖之礼。结果受到太常寺卿德保的参劾。
不过，这次乾隆却表现得非常通情达理，并没有着意责备刘墉。八月五日（次日），乾隆再就此事说：“向来丁祭礼，于节次行礼之后俱有一揖，虽载在会典，刘墉之意既以为仪文可减，自应奏明更定，乃并未陈奏，固属非是。但刘墉素性好为执狃，每多议论立异鸣高，而又不着紧要。至此一揖之礼，已在跪拜大礼既毕之后，复有此小节仪文，原可不必，刘墉未经照例行理（礼），所见尚属近情，是以免其交部。至德保之意，自因平时办事软弱，屡经饬谕，又见刘墉前因宣露朕旨，是以于大学士之缺未经补授，今于丁祭时因刘墉未遵仪注，以为有关正典，即行具折参奏，以显其见长认真，此等处亦不能逃朕洞鉴也。此次丁祭时，德保是否在文庙襄办，及一揖礼引赞官是否唱赞，并著德保覆奏。此属小事，不必发部科行抄。”
人弱被人欺。乾隆的意思是德保小题大做，因此不令处分刘墉。但乾隆讲得非常清楚：刘墉虽认为不应行一揖之礼，但并没有奏明即擅作主张，这是不对的，强调的仍是一切须经皇帝允旨。
乾隆四十七年（1782年）六月，刘墉就任工部尚书兼管国子监事务，以后他多次兼理国子监，成为这所全国最高学府的负责人。
刘墉主持国子监期间，曾亲历视学大典和辟雍大典。据随班观礼的朝鲜使臣说，乾隆五十年（1785年）临雍讲学时，观讲学礼的诸生多达三千多人，每人都获赐银两，可谓盛况空前。
这次临雍讲学的内容为《大学》和《易经》：由大学士伍弥泰、大学士兼管国子监事务蔡新分讲《大学》所谓五伦知止，即为人君止于仁，为人臣止于敬，为人子止于孝，为人父止于慈，与国人交止于信；《易经》由祭酒觉罗吉善等讲解“天行健，君子以自强不息”一节。
临雍大典，正值辟雍新近建成，又恰逢大旱甘霖，使乾隆异常兴奋。唯一使乾隆感到遗憾的是，典礼过后赐给群臣茶水时，礼部官员忙中出乱，忘了给主讲官蔡新等人安排赐茶，又使乾隆不满。
后来又因为国子监科场舞弊一事受到福康安的参奏，乾隆在福康安草拟的处理中批示到：刘墉系总理国子监事务，吉善身系祭酒，于考到一事，自应一同办理，何以专交黄寿龄一人考校，致滋物议，咎实难辞。刘墉、吉善俱交部议处。
从这一事件中，可知国子监确实存在不少问题，尽管刘墉自己能做到廉洁自律，但对国子监的管理却不严格，这也是他获得处分的原因之一。钱沣年谱中曾有这样的记载，说钱沣揭发国泰勒索属员案后，受到乾隆的信任，“频蒙召对，有所见辄直陈，于是大冢宰刘墉在国子监说昨钱南园已将科场作弊事面奏皇上了，诸生慎自爱”。可知钱沣曾举发过国子监考试存在的问题，也可见刘墉管理国子监的风格。
自乾隆四十七年（1782年）十一月，刘墉奉派在上书房总师傅上行走以后，长期兼任此职，因而当乾隆五十四年（1789年）诸师傅旷工事件发生后，刘墉丢掉了协办大学士一职，是仕途中的一次大挫折。
上书房亦称尚书房，为清代皇子读书处。清朝家法相承，极重皇子教育。由于入直上书房责任重大，又和诸皇子有特殊的师生关系，故他们往往能受到皇帝宠信和优待。刘墉能在乾隆四十七年（1782年）十一月，也就是他自地方调入中央后不足一年的时间，以尚书身份，和资深大学士三宝、嵇璜等出任上书房总师傅一职，可见乾隆对其品行的信任和仕途发展的厚望。
按照上书房的作息时间，师傅必须坚持到申时退值下班（下午三四点），而且离开时必须告知管门太监登记，以备查核。皇子们更要遵守时间，有事离开也必须征得师傅的同意。乾隆三十五年（1770年）五月，皇八子永璇因事从圆明园回城，既未告知乾隆，也未告诉师傅，乾隆知道后立予训斥，并对师傅等也予指责。
乾隆五十四年（1789年）二月三十日至三月六日，上书房诸师傅因连雨天未能入值。次日，乾隆检查内左门登记的师傅入值门单时，发现了这件事，非常愤怒，立即召见皇十七子永磷、军机大臣和总师傅刘墉，询问是否因阿哥们不到书房而致诸师傅散去，结果，永磷说是阿哥等每日都到书房，而师傅们往往有不到者，阿哥们曾经面告其入值，而他们连日仍未进内等。乾隆十分气愤，当日下旨，刘墉等人俱交部严加议处。三月八日，乾隆在将刘墉等人交部议处后，仍对刘墉失于稽查耿耿于怀，专门就刘墉的责任及处罚下了一道上谕。
这次事故，刘墉所受处分最重，协办大学士被取消，吏兵二部尚书衔转与彭元瑞和孙士毅，入值南书房的资格也予吊销，他不得不从头开始他的仕途登攀。
上书房事件，无疑是刘墉一生仕途中遭受的重大挫折。他由原来的协办大学士、吏部尚书一下子被贬到侍郎衔，并在同年六月的京察中获革职留任的处分（革职留任为无俸供职）。而且，刘墉被剥夺了入值南书房的资格。他在此后近两年的时间里被排除在皇上近臣的圈子之外，成为文武百官中普普通通的一员。也正因为这次事件，此后乾隆多次赏赐群臣刘墉均被排除在外，甚至于乾隆五十五年（1790年）三月二日赏赐山东在籍人员，也同样没有刘墉。直到同年八月乾隆八旬大庆，刘墉始获赐《春雏得饲图》《重排石鼓文》和《泾清渭浊诗图》等品。这种阴影，直到乾隆五十六年（1791年）始散去。
乾隆五十八年（1793年）三月二日，刘墉奉派为会试主考官。
科会试录得桐城人吴贻咏等八十余人。另有七十岁至八十岁以上者六十七人，三场考完而未被录取，经瑚图礼等报告乾隆后，乾隆大为高兴，认为“庞眉皓首踊跃观光，洵为升平人瑞”。结果，除七十岁以上之邵利达、姜介、陶炜已在上次会试时赏给国子监学正衔外，所有年届八十岁以上之马元倬、胡自勉等人俱赏翰林院检讨衔，七十岁以上之穆彬等十二人给国子监正衔，并赏给每人缎匹有差。
四月二十一日，乾隆以大学士阿桂、大学士王杰、礼部尚书纪昀、左都御史窦光鼐、吏部侍郎金士松、礼部侍郎刘权之、兵部侍郎玉保、内阁学士瑚图礼为殿试答卷官，策试贡士吴贻咏等82人于保和殿。二十四日，殿试揭晓：潘世恩、陈云、陈希曾分获状元、榜眼、探花，陈秋水等七十八人分获进士出身或同进士出身。
但该科评卷方式颇遭人议，故乾隆在殿试传胪的第二天即有谕旨称，必将该考官重治其罪，决不宽贷。
五月二十日，经礼部磨勘发现，此科会试阅卷草率，违制或不合格卷子众多，按规定刘墉等考官应罚俸至十余年。
