李鸿章代表政府和日本签订了《马关条约》，张謇感到这个条约对中国社会将造成严重的危害，允许日本人于内地开机设厂、制造土货，设立行栈，“外洋之工巧于华人，外洋之商本厚于我国”，“今通商新约一旦尽撤藩篱，喧宾夺主，西洋各国，援例尽沾”，其后患必然是“以我剥肤之痛，益彼富强之资。逐渐吞噬，计日可待”。
1895年，张謇应湖广总督张之洞之邀写了《代鄂都条陈立国自强疏》，深刻阐述了发展工业、富民强国的设想。这年夏天，张之洞调任两江总督，张謇向他提出了实业救国的想法，张之洞非常赞赏。同年，张之洞委派张謇创办通州实业公司，“总理通海一带商务”，张謇决定根据通海一带“亚洲产棉胜处”的地理条件，兴办纱厂，并命名为“大生”，意为“天地之大德曰生”。但是创办纱厂并不是一帆风顺，张謇遇到的艰难曲折实非他所预料。
1895年冬天，张謇开始集资办厂，将大生纱厂定为商办。可是从1895—1896年，虽然官府出面劝导和董事奔走游说，但是，那些拥有良田数万亩的大地主都以“来年入股”相推脱，即使勉强入股也不肯多出，最少的只有37两，张謇对此十分感叹“通州风气未开，见闻固陋”。没有办法，他只好求助于上海，数月沪通往返，他最后确定了六位董事：海门沈敬夫、陈楚榆，通州刘一山，福建郭勋，浙江樊树勋，广东潘华茂。彼此商定沪董三人负责在沪筹集40万两，通董三人在通筹集20万两，共计60万两，张謇还邀请他们来通州考察，大家看到通州离通扬运河和长江港口很近，交通很方便，几个人都赞叹这里是办厂的风水宝地。
1896年秋冬，纺织行业却突然出现了塌市，许多外国的纺织品积压上海，洋商都降价销售，这对中国的纱厂造成了很大的冲击，许多纱厂都倒闭了。潘、郭等沪董望而生畏，由原来认集40万两缩至25万两，不久又缩至16万两，但是拖了两三年，张謇也没有见到分文。通州的集资也十分缓慢，张謇为此“彻夜不寐，绕屋而走”。没有办法，张謇只好求助于张之洞和刘坤一等地方大员。很快张、刘两人就答应支持张謇。
其实张之洞和刘坤一支持张謇有他们的想法。张之洞早在1893年就准备在武汉办纱厂，向英国购买了四万八百枚纱锭，但是纱锭到了上海，张之洞却因为资金短缺，办厂之事不了了之，他不愿任由那些纱锭放在杨浦码头风吹雨淋，一直想找人领办，但是没有人来承领。现在张謇要求政府支持办厂，张之洞正好把这批纱锭作价给他。1896年11月，由江督刘坤一指使，江宁布政使兼商务委员桂嵩庆与张謇签约，把这批原价70万两的纱锭，作价50万两，作为官本入股，这样张謇共筹集资本近60万两，他以为自己有了60万两，沪董一定会集出40万两，但是沪董听说官商合办，立即全部退出。他再次求助于桂嵩庆和上海的通商督办盛宣怀，桂、盛两人答应为他另筹流动资本。张謇接到消息，非常高兴，他说：“此真挽救之一大关键也。”
1897年12月，大生纱厂破土动工，开始基建，运输、材料费用开支很大，张謇盼着桂、盛两人的支持，但两人却根本不兑现说过的话。没有办法，张謇只好去上海集资，来往的路费，都是他卖画所得。
经过一年的奋斗，1898年年末，大生纱厂已经初具规模，但是等到装机，张謇才发现官股的四万钞锭机件因为长期风吹雨淋，十分之三四都已经锈烂了，向江督要钱进行购补，但只是答应支持而无钱可支，商本又短缺，但是张謇还是想办法购买配件修补完备，并且开始着手收购棉花，但是经费成为张謇心头的一块石头。
张謇万般无奈之下，向两江总督刘坤一辞职，同时表示如果纱厂走投无路，他将要把此厂转让给日本人，刘坤一最后根据张謇的提示，要求通州地方政府调拨8万两给张謇，但是通州知州汪树棠却故意刁难张謇，他把原本给秀才和举人参加乡试的津贴费拨给张謇，引发了当地300多名秀才联名递文指责张謇，弄得张謇十分被动。汪树棠还以张謇集资为由，动用差役，明火执仗向民间逼索，引起老百姓对张謇的不满。一时间民怨鼎沸，谣言四起，张謇连忙求汪树棠不要再集资了。拨借公款遂成泡影。
为了保住纱厂，张謇不惜挖肉补疮，把已经购进的价值8万两棉花运到上海变卖，但是所得很快就用尽了。机厂开工后，资金更是紧张，张謇请求刘坤一另派人接办，但刘坤一没有答应。张謇没有办法，只好招租，他与上海商界巨子严信厚等人合谈，但是沪商提出的条件他实在无法接受。在上海两个月，张謇百计俱穷，由于忧急，他的嘴上起了血泡，弄到最后，他连旅费都成了问题，只好靠卖字筹措。这时候，他的得力助手沈敬夫写信告诉他，“尽花纺纱，卖纱收花，更续自转，至不能有花纺纱，则停车闭厂，以还股东”。这时，已是1899年5月，江南正是闷热的梅雨天气。谁知这时市场上纱价已经开始上扬，张謇的纺纱售卖计划竟然获得了意外的成功。当年竟然获纯利3.8万余两，第二年更获11.8万余两。纱厂的收益已经可以保证纱厂的正常营运。
张謇满怀喜悦前往江宁拜见两江总督刘坤一，张謇高兴地告诉刘坤一：“纱好地也，气转天也，人无与焉。”刘坤一称赞这都是他的功劳。张謇推脱说：“办事皆董事及各执事，謇无功。”刘坤一说：“不居功，苦是要吃的。”张謇说：“苦是要吃的，亦无所怨。”
但是张謇真是无怨吗？他在纱厂正常营运后，授意别人画了四幅画：《鹤芝变相》（“鹤”指潘鹤琴，“芝”与郭茂之的“之”谐音）、《桂杏空心》（“桂”者桂嵩庆，“杏”者盛宣怀字杏孙）、《水草藏毒》（“水”影射汪树棠，“草”暗示黄阶平）、《幼小垂涎》（“幼”指沪商朱幼鸿，“小”者严信厚字小舫），并让人把画挂在纱厂办事厅内，以此让自己和全厂同人时常回想办厂的艰难，激励鞭策大家。
1903年，大生纱厂的纱锭和资金已经比开办之初分别增加了100%和238.7%。1907年，大生纱厂开办第二纱厂，该厂投资83.6万余两，大生纱厂步入了它的辉煌时期。
