盛宣怀把教育视为兴国之本。在办理洋务事业中，盛宣怀深感“每逢办理交涉，备尝艰苦”，认识到当时中国最缺乏懂技术、懂外语、懂管理的新式人才，而只会读经史、写八股的学究，在洋务事业中根本没有多大用处，传统的教育非革新不可。盛宣怀决心着手培养新式人才。最初他创办了一些附属于企业的技术训练班式的学堂，在短期内培养了一些具有中等技术水平的技术人员。随着对人才的要求不断提高，19世纪90年代初，盛宣怀开始提出要办正规的学堂，以培养高级专门人才。
中国近代教育发端于19世纪末20世纪初。天津作为洋务运动的起源地，兴建起许多学堂。维新运动之后，天津兴办的新学，已经在各通商口岸中位居第一。特别是甲午战争之后，中国的知识分子从新学中寻求科学救国、实业救国的方法，开始兴办西式学堂，近代中国第一所大学——北洋大学就是在这一时期创办的。
1892年，盛宣怀出任天津海关道，与当时在天津主持中西书院的美国教育家、美国驻天津领事馆副领事丁家立常研讨办学之事，并着手筹办一所新式学堂。1895年春，盛宣怀将经过详细研究、讨论制定的实施计划向李鸿章禀请具奏。9月19日，盛宣怀拟定了《拟设天津中西学堂章程禀》，递交给新任直隶总督兼北洋大臣王文韶。王文韶将盛宣怀的方案改为《津海关道盛宣怀创办西学学堂禀明立案由》，上奏朝廷。
1895年10月2日，光绪皇帝批准了盛宣怀的奏章，下令成立天津北洋西学学堂（天津大学的前身。1896年更名为北洋大学堂，1912年更名为北洋大学，1913年改称国立北洋大学），校址在天津大营门外梁家园博文书院（今海河中学一带）。10月2日，也成为中国第一所大学的建校纪念日，盛宣怀由此也成为中国历史上第一个大学校长。
北洋大学自创办之始，就仿照美国的大学模式，全面系统地学习西学。例如，除汉文课和部分外语课外，其余所有功课都由外籍教习担任，要求学生外语基础好；教科书使用外文原版，用外语授课；学生实验所用的各种器具、设施都从美国进口；等等。在当时，北洋大学被誉为“东方的康奈尔”，它的教学计划、讲授内容与方法、教科书、教员配备，成为后来其他各地兴办新式大学的模式。北洋大学堂从一开始就是一所综合性大学。学堂分别设头等班（相当于大学）、二等班（相当于大学预科），学生除学习语言文字外，主要学习理工知识。头等班又分为律例、矿务、制造3个专科，用以培养专门人才。1897年，北洋铁路学堂并入北洋大学堂后，又增加了铁路科。北洋大学堂成为我国历史上第一所真正意义上的理工科大学。同时，北洋大学堂也是我国近代第一个设置法科的新式大学，开创了中国近代的法学教育。
盛宣怀推崇“以致用为本”的西学，在“经世致用”的思想下敢于冲破封建顽固派的藩篱，引进西方先进的科学技术和教育制度，对传统教育进行改造。这种改变主要表现在以下几个方面：第一，变革传统教学内容，加重西学课程的比例。第二，采用新的教学组织形式和考核制度。第三，采用新的管理模式。盛宣怀参照西方，在学校中设置了督办、总理、监院、总教习、提调等人员，参与学校的管理，并增设文秘、会计、图书管理员、校医等。这些教职工各司其职，互相配合，已具现代学校管理模式的雏形。
盛宣怀对新式教育有着独特的见解。他给学堂的学员定下了严格的规则，要求学员一定要钻研本专业，不可心有旁骛，要循序渐进，不容紊乱。他认为，打牢知识基础很重要，绝不可“学无次序，浅尝辄止”。另外，盛宣怀对外语学习的看法非常难得，他不赞成学员单纯学习外语，认为外语只不过是一种工具，学员要结合自己的专业学习外语。这是他有感于中国缺少高技术人才而提出的要求。
1899年，北洋大学堂第一届学员毕业了。翌年元月，学堂颁发了中国历史上第一张大学文凭。由于成绩最优，法律专业的王宠惠成为“钦字第壹号”文凭获得者。1905年，王宠惠获耶鲁大学法学博士学位，1912年出任南京临时政府外交总长。
选送头等学堂毕业生出国留学，是北洋大学堂创办计划中的重要组成部分。1901年，盛宣怀通过南洋公学选送北洋大学堂第一批学生赴美留学。这是中国首批出国留学生，是中国高等学校留学教育之始。1951年9月，北洋大学与河北工学院合并，定名为天津大学。作为北洋大学的创始人，盛宣怀受到天津大学师生的纪念。在2005年10月2日天津大学建校110周年之际，盛宣怀的蜡像在天津大学落成。
1896年，盛宣怀的事业重心南移上海。这年，时任太常寺少卿的盛宣怀上奏朝廷，呈请在上海设立“专学政治家之学”的南洋公学，得到光绪皇帝的批准。
“公学”这个名称，是由盛宣怀参照国外惯例而定的。经费由盛宣怀主管的轮船招商局、上海电报局两家捐助，每年10万两白银，这也是向外国学来的。当时在西欧一些国家，学校的经费就是半由商人资助（公助）、半由官方付给（官捐），统称“公学”。当时我国海岸线的划分，黄海、渤海称为“北洋”，而长江口以南（东海在内）直到福建、广东称为“南洋”，所以盛宣怀在上海新办的学堂称为“南洋公学”。
盛宣怀期望把南洋公学办成培养内政、外交、理财三事之教授的正规大学。南洋公学的宗旨为：以通达中国经史大义、厚植根柢为基础，以西国政治家日本法部文部为指归，略仿法国国政学堂之意。作为洋务运动的代表，盛宣怀看到洋务派开办的各类学堂、培养的学生只能满足洋务运动技术层面的人才需求，并不能从根本上改变人才的知识结构，也不可能培养具有新式管理理念和管理能力的人才。南洋公学的创办，已经超越了实业的视野，考虑了满足晚清朝廷更广层面、更高层次的人才需求。
南洋公学诞生后，盛宣怀亲自担任公学督办。他聘请同乡何嗣煜担任总理（校长），又聘前南京汇文书院院长福开森担任监院（总教习）。从1896年至1905年，盛宣怀一直任南洋公学督办。在此10年间，他是公学校务的最高决策者、最高主管人。10年里，南洋公学从无到有、从小到大、从弱到强、从低到高，走过了一条巩固、发展、壮大之路。所有这一些，都与创始人盛宣怀苦心经营、执著追求密不可分。
南洋公学作为我国近代第二所大学，在高等教育史上留下了许多开创之举：首立师范院，初步奠定了我国近代师范的雏形；公学一改清朝的旧教育体制，参照西方的办学体制设立四院：师范院、外院、中院和上院，相当于师范、小学、中学和大学，开创了大、中、小学三级分层办学的先河；拟定《南洋公学章程》，采用分年级按班级授课制，为我国教育有系统、有组织之肇始；师范生自编写的《蒙学课本》，成为我国最早一本近代教科书。
自有人类社会以来就有教育，人类进入奴隶社会以后就产生了学校，有了专门的教师。但培养教师的师范教育却是近代社会开始才有的。盛宣怀认为，“师道立则善人多，故西国学堂，必探源于师范。”1897年4月8日，南洋公学师范院在租借的上海徐家汇民房中正式开学上课，这是我国教育史上的第一所师范学校，标志着我国师范教育的从无到有，意义非同寻常。由于师范为教育之本，南洋公学师范生又是日后办学的生力军，其地位相当重要。因此盛宣怀对师范生寄予了很大希望，在“中学为体，西学为用”的教育思想下，盛宣怀为师范院制定了“明体达用，勤学善诲”的培养目标。
1897年3月，南洋公学师范院在盛宣怀的主持下举行第一次招生考试。各省纷纷前来应试者数千人，多数是贫寒子弟和愿舍弃科举仕途的有志之士。经过严格挑选，第一次录取师范生40名。公学给师范生的待遇是十分优厚的。师范生入学后，食宿杂费均由学校供给，每月还按层格发给津贴，一层格每月津贴银6两，进一层加银1两，加到10两为止。另外，对学习成绩优良者还有奖学金。1903年，南洋公学师范院停办，前后总共7年，培养学生71人，其中包括吴稚晖、钮永建、白毓（雅雨）、章宗祥等。南洋公学师范院办学时间虽然不长，但却初步具备了近代师范教育的雏形，揭开了我国师范教育的序幕。对于中国师范教育的发展来说，南洋公学师范院是中国第一所正规的高等师范学校，标志着中国师范教育的开始，是中国师范教育的发源地，在中国教育史上具有划时代的重要意义，谱写了中国有史以来教育的新篇章。
在盛宣怀档案中，有一份“南洋公学特班生成绩表”。从这个表中，我们可以看到当时所设的学科是务实而有效的，比如设有外文、法律、理财等专业。在盛宣怀档案中，还有一份由他本人所写的《奏陈南洋公学历年办理情形请旨遵行折》，陈述了在南洋公学中设置特班的用意：“变通原奏速成之意，专教中西政治、文学、法律、道德诸学，以为有志应经济特科者预备之地。”邵力子、李叔同、黄炎培等均为此班学生。
1912年，南洋公学改称上海工业专门学校。1921年，上海工业专门学校、唐山工业专门学校、北平铁路管理学校及北平邮电学校合并成为交通大学，分别称各校为交通大学上海学校、唐山学校及北京学校。
