范仲淹奔波辛劳一生，到青州时病情加重，实在无力承担繁重的政务工作。皇祐三年末，范仲淹到青州未满一年时间，就给朝廷上《陈乞颍亳一郡状》，要求朝廷将自己调到清闲的州郡养老养病。范仲淹说自己：“年高气衰，日增疾恙。去冬以来，顿成赢老，精神减耗，形体旺弱，事多遗忘，力不支持。”来青州以前，身体状况已经很差，范仲淹是勉力支撑到青州任的。到任以后，只得将青州大量的政务交给通判等属僚处理。然而，“安抚一路九州岛军，兵马公事繁多”，还有“郡县利害，乡川寇盗”等等繁杂事务，范仲淹完全无法应付。“自臣抱病，勾管不前”，都是委托属下处理。范仲淹认为这样会耽误朝廷和地方政务，“揣己量力，实不自安”。所以，请求仁宗“于颍、亳二州”挑选一处，将自己移官到那里，“可以养疾，庶安朽质，少保残年”。颍州和亳州在宋代是闲郡，是退闲大臣养老的处所，没有行政事务负担。仁宗此时对范仲淹只有眷念之情，接到范仲淹陈乞状之后，立即同意，皇祐四年（1052）正月，范仲淹徙知颍州。
范仲淹是一位先忧后乐、鞠躬尽瘁、死而后已的爱国志士，这次能提出退闲养病的要求，一定是病情到了相当严重的地步了。果然，在赴颍州任途中路经徐州时，范仲淹病情进一步恶化，只得留在徐州治病。仁宗听说此事后，也非常牵挂范仲淹，特意派遣使者到徐州送药慰问。好友韩琦听到消息后，也特别派人带信送药给范仲淹。范仲淹已经处在弥留之际，自知病重不治，于是给朝廷上《遗表》，最后一次对皇帝、对朝廷、对国家、对百姓竭尽忠诚。范仲淹说自己“灵医不效，积疴见困”，“神不在形，气将去干”，“冥冥幽壤”将是自己的最终归所。
这时候，范仲淹才为自己庆历新政的作为做公开辩护。当时因得仁宗信赖和重用，自己也期望对国家有特别的贡献。然而，“事久敝则人惮于更张，功未验则俗称于迂阔。以进贤援能为树党，以敦本抑末为近名”。此前，韩琦、欧阳修等都曾经为范仲淹辩护或申诉，范仲淹处于政治漩涡中心，始终不发一言。他目睹了新政措施一一被朝廷明令废止，目睹了同志友人一一被调离、贬谪、罢免，目睹了朝野积弊依然且越发严重，内心有许多痛楚和愤懑。《遗表》中的这几句特别申诉，表明了范仲淹坚持一贯的政治立场。
但是，范仲淹更加关心朝廷和国家的将来，《遗表》中恳切希望仁宗“调和六气，会聚百祥，上承天心，下徇人欲。明慎刑赏，而使之必当；精审号令，而期于必行。尊崇贤良，裁抑侥幸，制治于未乱，纳民于大中”。这一切都是范仲淹毕生追求的政治目标，也是范仲淹庆历新政的核心内容，临终重提，拳拳心意，人神共泣！
皇祐四年五月二十日，范仲淹病逝于徐州，终年64岁。
全国百姓听说范仲淹去世的消息，都痛惜不已。甚至偏僻山野乡村，也多有为之哭泣哀悼者。曾经在范仲淹属下的边疆少数民族，也在佛寺为范仲淹举办三日哀悼仪式，痛哭流涕，如同父亲去世。仁宗闻讯，久久嗟叹悼念，特别派遣使者去慰问范仲淹家人。范仲淹《遗表》中没有一字一句涉及个人要求或私事，仁宗嘱咐使者询问范仲淹家人有什么需要，范仲淹子女的态度与父亲一样，私事方面无所求。朝廷特赠范仲淹兵部尚书，谥文正，停止上朝一天以表哀悼。范仲淹将自己的钱财都捐赠了慈善事业，日常生活异常节俭，下葬时居然没有新衣，由友人集资为他举办了丧礼。这一年十二月初一，归葬于河南尹樊里万安山下的家族陵园。下葬后，仁宗亲自书写墓碑“褒贤之碑”。而后，由富弼撰写《墓志铭》，由欧阳修撰写《神道碑铭》。富弼极力称赞说：“人获一善，已谓其难；公实百之，如无有然！”作祭文的有：富弼、欧阳修、王安石、司马光等，后世祭文也络绎不绝。邠州、庆州等西北边郡率先为范仲淹立祠，以后范仲淹任职过的许多州郡都修建了祠堂。徽宗宣和年间，朝廷特别下诏令，要求建有范仲淹祠所在地的监司、郡守、学官每年要按时祭祀范仲淹。钦宗时追封范仲淹为楚国公，后再追封魏国公。历代各地官府，多次重修所在地的范文正公祠堂，表达了后人对范仲淹永远的景仰和怀念。
