暴君隋炀帝继位以来，进行无休止的横征暴敛，百姓早已苦不堪言。三次征高句丽的战争，全国规模的大征调，更使永济渠沿岸的村落几乎找不到男丁。劳力缺乏，田园荒芜，再加上一场洪水，粮价涨了几百倍，人民靠树皮和野菜充饥。他们忍受不了兵役、徭役和饥饿的折磨，纷纷揭竿而起。
大业七年（611年），齐郡邹平（今山东邹平）人王薄，首先在长白山（今山东章丘）起义。这座山在邹平、长山、淄川诸县交界处，山势险峻，周围60里，号称第二泰山。这个地方历来是起义农民隐身的场所，早在北魏时期，就“多有盗贼”。由于山里产铁，过去有人在山里制造兵器。传说王薄是个铁匠，很会打造枪头。正因为长白山具有各种优越条件，因此隋末农民起义的领袖，不少人都在这里聚义。
王薄自称“知世郎”，他以先知先觉者自居，借以树立自己的威望。他作了《无向辽东浪死歌》，号召人民起来反抗隋炀帝，从而得到人民的拥护。歌辞道：
“长白山前知世郎，纯着红罗锦背裆。长矛肖侵天半，轮刀耀日光。上山吃獐鹿，下山吃牛羊。忽闻官军至，提刀向前荡。譬如辽东死，斩头何所伤！”
王薄起义好像星星之火，拉开了全国农民战争的序幕，农民起义的熊熊烈火，便在全国各地燃烧起来。同年，孙安祖、窦建德在高鸡泊（今山东恩县）、张金称在俞阝县（今山东夏津）、翟让与单雄信、徐世责力据瓦岗，外黄王当仁、济阳王伯当、雍丘李公逸、韦城周文举等纷纷起义。
大业九年（613年），孟海公据济阳周桥（今山东曹县）、孟让在齐郡（今山东济南）、郭方预在北海（今山东益都）、郝孝德在平原（今山东德县）相继起义。
大业九年（613年）六月，礼部尚书杨玄感，趁隋炀帝第二次东征高句丽之机，在黎阳（今河南氵睿县）起兵。在刘元进、朱粲、管崇等人的领导下，江南农民在余杭（今浙江杭州）、吴郡（今江苏苏州）一带发动了起义；在白瑜娑等人的领导下，西北农民在灵武（今宁夏灵武）等地起义。十二月，章丘杜伏威、临济辅公礻石起义，与下邳苗海潮、海眣赵破陈等部会合。这时仅见于记载的起义军就达百余支，参加人数数百万。起义军“大则跨州连郡，称帝称王，小则千百为郡，攻剽城邑。”（《隋书·炀帝本纪》）。大业十年（615年）以后，各地起义队伍切断了长安、洛阳、江都隋朝三大据点的联系，隋朝统治集团陷入农民起义的包围中。
