1928年7月25日，曾因领导确山、刘店革命暴动而名震豫南的杨靖宇（当时名为马尚德），在他的小女儿降生后的第5天，就离开了生他养他的中原故土，奔赴新的战斗岗位了。他没对任何人说自己将去什么地方，做什么工作，只说“我这次走，不知道什么时候回来”，安慰、鼓励亲人们“不要担心，革命总会成功的”。从此，他再也没有回故乡李湾村。这一天，竟成了他和亲人们的永别之日。为了千千万万个苦难的家庭能够获得幸福和安宁，为了让全国人民永远摆脱饥寒交迫、颠沛流离、妻离子散的悲惨处境，杨靖宇毅然舍弃个人的一切，投身到火热的斗争中去了。
1929年春，杨靖宇受党组织委派来到了沈阳，继而又到抚顺从事工人运动。抚顺，是东北早期四大产业中心之一，中共满洲省委十分重视抚顺工人运动。杨靖宇到抚顺后和抚顺特支其他同志密切配合，使前期被破坏的党团组织得到了很大发展。1929年7月，中共满洲省委书记刘少奇选任杨靖宇担任抚顺特支书记。8月末，由于叛徒出卖，杨靖宇被捕，敌人连夜对他审讯，并施以酷刑。杨靖宇坚贞不屈、严守党的机密。“九·一八”事变后，经中共满洲省委多方营救，杨靖宇、陈潭秋、王鹤寿、饶漱石、张浩、赵尚志等共产党员，全部出狱。
杨靖宇出狱后到哈尔滨，此时由于敌人的破坏，满洲省委由沈阳迁到了哈尔滨，工作重心已转向发动群众抵抗日本帝国主义侵略方面。杨靖宇一到哈尔滨就向组织要求参加反日斗争。两年多狱中生活的折磨，使他的身体非常虚弱，胸肺时常疼痛。但他目睹国势艰厄，抗日救亡激情压倒一切，个人健康全然置之度外。满洲省委委派杨靖宇接替冯仲云担任东北反日学会党团书记，还担任中共哈尔滨市道外区委书记，后调任中共哈尔滨市委书记。在哈尔滨工作期间，杨靖宇经常穿一件又旧又破的灰布大褂，奔走在工厂、铁路、码头工人中，进行抗日宣传和组织工作。在他的领导下，党组织和群众反日组织有了发展。面对环境的险恶、工作的艰辛、生活的困苦，杨靖宇毫不在意，他的革命乐观主义精神压倒了一切，每天“仍然是笑嘻嘻的，好像革命明天就会胜利似的”。杨靖宇说过，他上过两个大学，一个是“社会大学”，一个是“监狱大学”。他4年多地下工作，5次被捕坐牢，经历了极端复杂而又恶劣的斗争环境的考验，在真理与生命之间作出了正确的选择。他以稳健的步伐走过这段道路，从而在政治上更加坚定成熟。
1932年，杨靖宇接替周保中担任满洲省委军委书记，从此开始了他领导东北抗日武装斗争的生涯。11月下旬，根据组织决定，杨靖宇以满洲省委代表的身份，赴磐石、海龙等地巡视，整顿党的组织和党所领导的抗日游击队。
磐石位于吉林市以南，辉发河以北，吉海铁路线上，是汉、朝民族杂居地区。“九·一八”事变后，党领导磐石人民开展了轰轰烈烈的反日斗争，先后组织了多次大规模的反日锄奸斗争。1932年6月4日，南满第一个党领导的抗日武装——满洲工农反日义勇军第一军第四纵队，在磐东三道岗小金厂成立，这是我党在东北建立的第一支公开进行抗日活动的武装力量。此时正值南满党组织贯彻执行中共“北方会议”决定之际，按此会议要求，磐石中心县委领导的工农义勇军没有广泛地联合一切抗日爱国力量，反而把斗争矛头对准了中小地主，增大了对立面，因此使义勇军陷入了孤立的境地，并遭受了挫折，队伍面临分裂的危险。磐石中心县委在给满洲省委的紧急报告中急切地提出：“磐石党已处在存亡的紧急关头，省委应速派巡视员前去。”杨靖宇此行可谓临危受命，肩负重任。
1932年12月间，杨靖宇几经周折到达磐石中心县委和抗日游击队所在地桦甸县蜜蜂顶子。他找党、团员们谈话，深入了解情况，做思想工作，鼓励大家坚定抗日信心；接着，纠正了前阶段领导上的悲观思想和错误做法，改组领导机构，组成新的磐石中心县委。在新县委领导下，全面恢复了各级组织及其正常工作。同时，杨靖宇还直接领导了磐石抗日游击队的整顿工作。按照中共满洲省委的指示，取消“五洋”旗号，将部队改称为中国工农红军第32军南满游击队，孟洁民任总队长，王兆兰任副总队长，初向臣任政委。此后游击队开回磐石，途中在郭家店处决了反动地主武装头子于宽，缴获长短枪20余支，并将地主的粮食分给了当地农民，部队士气大振。不久，杨靖宇到海龙巡视工作，将那里的抗日游击队改编为中国工农红军第37军海龙游击队。
杨靖宇离开磐石后，游击队又遇到挫折，游击队的主要负责人孟洁民、王兆兰、初向臣相继牺牲，游击队由160人减到100余人，队伍再次面临解体的危险。在这紧要关头，杨靖宇从海龙赶回磐石，立即召开会议，稳定了部队的情绪，并重新组成游击队领导班子，他本人暂兼总队政委。从此，南满游击队在杨靖宇的直接指挥下，不断成长壮大。
磐石抗日游击队——南满游击队所走过的曲折道路说明，在东北，由于以往党和革命武装斗争基础薄弱，领导骨干不足，加上环境恶劣、形势复杂，要带起一支抗日队伍极其艰难。杨靖宇到磐石半年的实践表明：“他是非常难得的游击战争的领导者”，是南满游击队的灵魂，他的名字和这支队伍的胜利前途紧密地连在了一起。
