吴长庆死后，两广总督张之洞早已听说过张謇这个人，就派人礼聘他入幕。李鸿章尽管对吴长庆芥蒂极深，但对张謇之才还是颇为赏识，也多次暗示他成为属下。但他一概婉辞。他是个重气节的人，不会在恩主死后，立即投入他人的怀抱。他曾给朋友写信说：“吾辈如处女，岂可不择媒妁，草草字人。”
张謇没有想到，他拒绝张、李二人，反而提高了他在士林中的威望，当时的人常说起他“南不拜张，北不投李”的铮铮铁骨。
张謇虽然拒绝了南北两督府对他的礼聘，但他仍然想通过自己的努力，走“学而优则仕”的道路，他的父亲张彭年更是朝思暮想，指望儿子早日金榜题名，光耀门楣。
张謇离乡数年，他对自己的学术水平抱有充分的信心，但是张謇不知道的是，这时候，当朝的清流已经注意到他这个年轻有为的知识分子了，他们对他寄予厚望，并有意识地帮助、举荐他，让他尽快走完科举道路，取得踏上政治舞台的资格。清流们愿意帮助他，有他们自己的想法，张謇的才、识、学在各种各样的考试中已经得到了充分的体现，他在庆军的幕僚生涯更让他声誉鹊起，他们希望张謇加入他们的阵营，壮大他们的力量。当时清流首领潘祖荫、翁同龢等南方人更是把他作为自己的同乡加以提拔。
1880年，继任江苏学政的黄体芳是当时清流的砥柱之一，他对张謇也是多方关照。1885年5月，张謇满怀信心，经江宁前往北京参加顺天乡试，他结识了盛昱、梁鼎芬等清流名人。7月，在盛昱主持的国子监考试中，张謇被取为第一名，录为第四名。
10月，张謇参加顺天乡试，高中第二名，这是他参加科举考试以来最辉煌的胜利，从顺治年间大清朝开科取士至此时二百多年，南方知识分子在顺天乡试中被取中者只有三个人，张謇位列这三人之中，心中怎么不感到自豪。顺天乡试的高中，使张謇觉得自己朝夕的努力没有白费，尤其是让为自己操劳一生的父亲有了一丝慰藉。
清流首领潘祖荫、翁同龢也前往他寓居的关帝庙看望他，这让张謇感动不已，潘、翁二人还为他的《乡试录》作序，并与他确立了师生的关系，并希望他礼部会试，早日状元及第。但是可能是命运捉弄人，张謇此后却在1886年、1889年、1890年、1892年四次礼部会试中，连续不断地落第。从1868年张謇第一次参加科举考试开始，至今他已经在科举的道路上消磨了25年的大好时光，这25年是他人生中最宝贵的时光，不断地落第，使他的自尊心和承受力几乎要崩溃。
1887年，张謇第一次礼部会试不中，江宁知府孙云锦调任开封知府，邀请张謇随同赴任，协助治河救灾。这年秋，黄河在郑州东西桥决口，堤毁三十余丈，迅速扩大到二百余丈，黄河横溢四五十里，无数百姓受灾。张謇奉命乘舟经中牟二三堡察看水情，发现残堤所存防水材料，已被水冲一空，灾民以柳枝蔽体栖息堤上，人畜死亡难以数计，张謇向孙云锦汇报的时候，禁不住泪如雨下。
10月，他受河南巡抚倪文蔚之托，代拟治河方案《疏塞大纲》，他以自己丰富的学识，力主恢复黄河故道。当时北洋大臣派来的外国工程人员也提出了类似的建议，但是奉旨勘查黄河的钦差大臣李鸿藻认为这个方案工程浩大，未予采纳。张謇又提出了第二种方案，建议“以切滩取直法”治理河南弯曲凶险河段，就地形水势引直河道，并主张引进机器施工，但管事的人认为不合旧俗，予以拒绝。张謇看到这样下去，黄河永远治理不好，于是在这年冬天冒着大雪回到了自己的家乡海门。他决心在自己的家乡干一番事业。他数次从上海经过，看到上海是生丝的出口商埠，可是毗邻的通海地区却不植桑养蚕，1886年，他帮助父亲从湖州集资购来桑苗，鼓动乡民赊购，并且分送《农桑辑要》，他还请求海门地方官劝乡民兴办蚕桑，但乡民们对此反应冷淡，应者寥寥。传统的劝农方法不行，他又采用积资开办公司的方法，推销桑秧，由乡民自定购买数量，只记账，不付现金，三年后乡民卖桑叶供给公司养蚕，从付给乡民的现金中扣去树本和二分利息。经过他的努力，到1896年，通海地区已经开设了三个蚕行，通海地区的桑树已经超过了百万株。
在家乡这一段时期，他的学术研究也颇有成果，他陆续完成了：《释书谱》《说文或从体例错出》《蜀先主论》《赣榆县志序》《督抚提镇即古诸侯说》《周易音训句读》，这些著作是因事而发，虽不具学术研究的系统性和理论性，但反映了张謇的思想正随时代的变迁而发生某些变化。在方志的编修上，他更有自己的独到见解，他提出方志的侧重点应在“疆域之沿革”“民生之利病”“人物之去取”等有重要现实意义的篇目。在篇目的安排上，他认为应将食货、学校放在军政、官师、人物各目之前，在编纂的方法上，他突破了旧志拘泥于文献资料的偏向，提出了注重实际调查，搜集口碑资料的方法，同时要求方志记事应遵循真实性的原则，图表使用应准确无误。他还认为知识分子不应该有门户之见，应该广收博览，融会贯通。
这时的张謇似乎已经放弃了科考求取的目的，1892年，他第四次会试落第的时候，他将应试的文具用品都扔掉了，似乎他要走一条造福乡梓的道路。
1894，尽管日本已经为侵华做好了足够的准备，但慈禧太后还是在一心准备她的60岁大寿，从这年正月开始，就筹备万寿庆典，并决定特开“恩科会试”。张謇连续四次败北之后，已经决心不再参加考试，但是他76岁的父亲却希望看到儿子金榜题名，他苦苦恳求儿子再试一次。张謇不便违拗老父亲，便勉强答应，迟迟启程，3月29日，他才到了北京，这时候入场的时间也到了，他借了朋友的考试用具，仓促入场，发榜之前，不抱任何希望，连录取消息都懒得打听，出乎意料的是，在礼部的会试中，张謇竟取中第60名贡生。4月，礼部复试又被取中一等第10名，这就使张謇取得了参加殿试的资格。
5月26日殿试，在翁同龢的暗中布置下，他取得了第一名的成绩。
28日，大清早，阅卷大臣手捧前十名试卷进入乾清宫，当着光绪帝的面，大臣麟书按已排定的先后顺序抓封唱名，拆开第一封，就是张謇，翁同龢忙向皇帝介绍说：“张謇是江南的名士，而且是个大孝子。”
皇帝非常高兴。当天五更就恭候在乾清门外等待宣召的张謇和其他进士既紧张又兴奋，好像过了好长时间，才听见宣召官员高声呼唤道：“一甲一名张謇上殿！”张謇顿时就有些手足无措，他踉踉跄跄进殿跪拜，三呼万岁。状元及第，张謇26年的苦苦追求这时实现了，但是他并没有狂喜万分。半生蹉跎，无数次落第的打击，突然的功成名就，这一切怎能使他不感到淡定呢？
29日，皇宫内太和殿“百官雍雍，礼乐毕备”，光绪皇帝高坐龙庭，他宣召张謇上殿，让他站在自己的身边，君臣之间进行了短暂而愉快的交谈，随后，张謇被授为翰林院编修，这是状元们经常被赐予的最高官位。
就在张謇步入仕途不久，甲午战争爆发。早在战争爆发之前，张謇根据从袁世凯处得到的信息，认为李鸿章处置朝鲜问题有重大错误，也了解到北洋军队内部的腐败情况，但他作为一个政界新人，无法单独上奏，只能把自己的想法告诉翁同龢，由翁同龢上奏朝廷。
9月下旬，日本军队已经进攻中国的东北了，但是李鸿章以庆祝万寿庆典为由，封锁中国军队失败的消息，向皇太后报败为胜。清流大臣再也无法忍受，他们相继上奏章弹劾李鸿章，9月17日，朝廷举行王公大臣军机会议，终于决定处分李鸿章，但是在皇太后的庇护下，李鸿章只“拔去三眼花翎，褫去黄马褂”。9月29日，清流成员联名上疏要求以恭亲王替代李鸿章，57名朝中大臣的联名终于迫使皇太后起用了恭亲王。但是大家认为，李鸿章一日不去，国家就一日无望。
10月初，翰林院35人联名上《请罪李鸿章公折》，张謇以自己熟悉朝鲜事务的原因单独上《推原祸始，防患未来，请去北洋折》。张謇的奏折围绕朝鲜问题的由来，对李鸿章处理朝鲜问题和对日本和战问题的种种错误，作了淋漓尽致的揭露：
一是李鸿章自任北洋大臣以来，凡遇到外洋侵侮中国，无不坚持和议。于是一般人认为他是“主和误国”。据张謇细心观察，二十多年来，李鸿章是唯一败坏和局的人。
二是朝鲜问题发展到今天，都是李鸿章败坏和局造成，光绪八年，李鸿章命丁汝昌、马建忠赴朝与英美各国立约，既同意朝鲜独立，又明确朝鲜仍为中国属国，不仅使中国失去屏障，而且为日本提供了可乘之机。朝鲜不亡于日本人，而先亡于李鸿章。
三是盟血未干，朝鲜内乱，日本乘虚而入，广东水师提督吴长庆统率六营军队东征平乱。事后，再三函请李鸿章早定修政练兵、兴利备患的方法，被他斥为“多事”。吴长庆因功得罪，被调守金州，积愤致死。李鸿章又将驻朝军队一部撤回，又否定了吴长庆建议为朝鲜练兵之事，给日本人敞开大门。李鸿章造成的结果是：日本所要的，李鸿章全给；日本所惧怕的，李鸿章为之除去。
四是中外用兵之法，战和相济。西方列强从未放弃武力征服中国的政策，因此任何人也不敢轻易败坏和局。李鸿章经营洋务、军务三十年，难道不知道？但在本年6月，日本再次侵朝，假如李鸿章得到袁世凯数十封密电之后，公开谴责日本违反光绪十一年条约两国不得擅自向朝鲜派兵的承诺，日理屈，或可不战而和；退而采取当年吴长庆保护朝鲜国王的办法，易客为主，变被动为主动，尚能却日而和；再退而由袁世凯帮助朝鲜改革内政，杜绝日本出兵口实，也未尝不可，但是，李鸿章以牺牲朝鲜为既定方针，使日本无所顾忌，发动侵朝战争。
五是日军结集朝鲜后，牙山清军待援，大同江距平壤不到二百里，距汉城四百余里，援军应由大同江入，进驻平壤，与卫汝贵、左宝贵等会合，分兵固守、赴援。而李鸿章有意让援军迂回九连城，多行七八百里，贻误战机；又让牙山驻军退往平壤，造成清军全线溃退，日军大获全胜。
六是李鸿章所派淮、奉、豫各军，平时各不相关，临阵互不统率，各自为战，其嫡系淮军卫汝贵、叶志超部，军纪涣散，临阵脱逃，抢掠奸淫，无所不为，大失朝鲜民心。左宝贵、马玉昆电请盛宣怀转禀设法，李鸿章置之不理，宋庆资深望重，又自请当前敌，李鸿章不给节制调度权力，而自任统帅隔海调度，朝鲜地形复杂，处处有险可守，进退自如，李鸿章却严令一万八千人困守一城，等待日军围歼。粮台不设，侦探不灵，不救牙山，不护操江，平壤一溃，瞠目无策，朝鲜大败都是李鸿章一手酿成的。
七是衔史参揭北洋各军腐败情形，如倒卖枪炮，接济日军粮食，偷运开平煤炭，临敌避匿，谎报军务等，李鸿章均置之不问，反为败将保奏，对英勇牺牲的林国祥、邓世昌等将领不闻不问，却对遇敌即溃、贻误战机的叶志超、丁汝昌等保奏奖叙。
于是张謇发出以下的感慨：
试问以四朝之元老，筹三省之海防，统胜兵精卒五十营，设机厂、学堂六七处，历时二十年之久，用财数千万之多，一旦有事，但能漫为大言，胁制朝廷，曾无一端立于可战之地，以善可和之局，稍有人理，能无痛心。
张謇指出李鸿章不仅“败战”而且“败和”，北洋大臣一职“实非天下人唾骂之李鸿章所以能胜任”。他请求朝廷“另简重臣，以战定和，固人心而申国势。专任李鸿章直隶总督，富贵晏安，以终其身”。
李鸿章虽然不再管理对日事务，但是恭亲王面对日本的不断进攻，也是无有效的办法。战事节节败退，张謇在日记中写道：“其实中国何尝有必战之布置耶！”到了10月11日，山海关已经告急，张謇夜访翁同龢，两人说起局势，只能相对落泪。
10月14日，张謇接到了父亲去世的消息。忧心国事的张謇怀着丧亲的悲痛匆忙返乡。
第二年，中日之战以中国的大败而结束，李鸿章代表中国政府签订《马关条约》，中国割让澎湖列岛、台湾和辽东半岛，并赔偿巨款，中日战事告一段落。在家守丧的张謇在自己的日记中写了“和约十款”的基本内容，并沉痛地说：“几罄中国之膏血，国体之得失无论矣。”他痛恨自己“徒为口舌之争，不能死敌，不能锄奸，负父之命而窃君禄，罪无可逭也。”
