回到家乡成立“中共永宁山支部”，最后还是当选为保安县民团团总；奉命“借水养鱼”又多次打入军阀部队，当了团长又当旅长都不是自己的军队，只是跟着军阀起哄帮他们抢地盘，到头来反被追杀九死一生；“太白镇收枪”名声大振，打出了一片自己的天地终于拥有自己的武装。
渭华起义是继南昌起义、湘赣边界秋收起义和广州起义之后，中国共产党在国内举行的一次规模最大的武装起义，具有重要影响。但是，由于敌我兵力悬殊等原因，起义军遭受重大损失，唐澍等人壮烈牺牲，起义遂告失败。
渭华起义失败后，刘志丹并没有灰心丧气，而是擦干身上的血迹，掩埋好战友的尸首，又继续战斗。1928年，他冒着被敌人通缉的危险，和谢子长等人化装潜回西安，向陕西省委汇报起义失败的情况和经验教训。陕西省委在听取了汇报之后，决定派刘志丹和谢子长等人回陕北，继续开展革命工作。
回到陕北后，刘志丹来到了自己的家乡保安县，立即和“皖北暴动”失败后回到家乡的曹力如一起，筹建了保安县第一个党支部——中共永宁山支部，刘志丹任书记，曹力如任组织委员，王子宜任宣传委员。当年在永宁山保安高小的三位同学，如今又相聚在一起。他们利用党员担任县教育局局长职务的方便，安排党员和进步人士到全县七所小学任职，以学校为立足点，开展革命工作。
1928年冬天，刘志丹又来到陕北特委所在地榆林城，参加特委工作。他按照中共陕西省委的决定，到达榆林后担任陕北特委军委书记。当时，陕北特委负责人杨国栋慑于国民党的白色恐怖，主张只做点宣传工作，不搞武装斗争，甚至提出党组织暂时停止活动。刘志丹和特委其他成员一起，同这种右倾错误进行了坚决的斗争。
1929年春，中共陕北特委在红石峡召开会议，决定刘志丹任特委军委书记，主持特委工作。刘志丹连夜开会研究如何领导农民起来进行斗争。从当时各地汇报的情况看，群众斗争还是自发性的，因此，特委做出决议，要把斗争引上革命的道路，组织农民反抗地主豪绅。从斗争中选拔骨干，恢复农民协会，发展党的组织，有条件的地方，就组织革命武装。
刘志丹决定特委委员们分头下乡，参加具体领导工作。当时他翻印了毛泽东同志的《湖南农民运动考察报告》，同特委的指示一起发到各县，作为领导群众革命运动的学习材料。在这次会议上，刘志丹还创造性地提出了通过“白色”、“灰色”、“红色”三种形式开展武装斗争，创建革命武装的想法。
所谓“红色”的斗争形式，就是直接发动组织工农群众，建立党独立领导和指挥的人民军队。刘志丹认为，人民军队是进行革命战争的骨干，只有走毛泽东同志开创的井冈山革命道路，陕甘地区的革命斗争才有光明的发展前途。他建议把分散的、弱小的群众武装逐步集中起来，先建立游击队，后上升为正规红军。这种办法与毛泽东的建军路线是完全一致的，是毛泽东同志倡导的“枪杆子里面出政权”的精神体现。
所谓“白色”斗争形式，就是派共产党人到白军中开展兵运工作。这是刘志丹发展革命武装的大胆尝试。随后，为了创建革命武装，刘志丹以非凡的革命胆略，多次打入国民党军阀部队和地方民团，以合法身份发展革命武装，虽然多次被捕和被关押，出生入死，但他毫不退缩，表现了一个共产党人不畏艰险、不怕牺牲的英雄本色。
所谓“灰色”的斗争形式，就是去争取、教育和改造那些啸聚山林或占山为王、独霸一方的绿林武装和帮派势力，为创建人民军队准备群众基础和武装力量。这是刘志丹发展革命武装的一项成功实践。
根据陕北特委红石峡会议提出的“关于派大批党团员打入军阀部队开展兵运工作”的精神，刘志丹和谢子长也随即离开部队，到各地去进行兵运工作。当时刘志丹就来到了他的家乡保安县，在这里从事兵运活动。返回家乡保安后，他采取合法的斗争方式，把该县的民团改造成了一支为党所掌握的革命武装。
当时，保安县有一支民团，有几十条枪。刘志丹就想把这个民团搞到手，变成革命的武装。那个民团的团总叫路仰之，是一个横行乡里的恶棍，当地群众对他恨之入骨，加上保安县的县长和地方上一些绅士也与路仰之有矛盾，刘志丹觉得这是一个取而代之，把保安县这支政府武装抓过来的好机会。于是他就和王子宜、曹力如商量，一面分头联络绅士，争取他们赞成改选民团，一面揭露路仰之欺压老百姓的罪行，鼓动广大群众到县长那里告状，要求改选团总。
当时保安县的县长曾是刘志丹的中学老师，他既对民团团总路仰之不满，又对刘志丹的所作所为表示支持，于是就装作迫于全县绅士和人民群众的压力，只好答应改选团总。这时，党组织又通过社会关系，提出让刘志丹、曹力如为正、副团总的候选人，通过改选的形式，让刘志丹、曹力如当选。
通过一番运作，保安县长同意了这种做法。当时他已经领教了他的学生刘志丹的厉害，另一方面他也知道，要想在保安这个县做官，没有几个好朋友的支持也不行，只有睁一只眼，闭一只眼。虽然他明知道刘志丹和曹力如都是共产党，但是共产党又没有在脸上贴条子，将来有人问起，就说不知道，也就没罪过了，于是就同意选举新团总。
选举的会场就设在永宁山保安高小的校舍里。那一天吃过早饭，那些所谓的“代表”和选民就像流水一样涌来。穿皮袍的，穿马褂的，扶拐杖的，戴瓜壳帽的，形形色色。县长是监选人，穿着大绸袍，捧个水烟袋进来了。刘志丹和曹力如向他打了个招呼，就作为候选人坐在那里。这时，选民还在陆续入场，路仰之突然走上台，对着县长的耳朵低声说：“门外有群老百姓，是远乡绅士派的代表，要求参加选举。”
县长忙说：“行嘛！绅士们的代表，可以参加！”
路仰之喜笑颜开，跑到门口招了一下手，一下子就拥进来了十多个人。曹力如心想，路仰之真是刁，不声不响，就到外乡找来一群地主、流氓，来给自己拉选票。在场的王子宜也发现了这种情况，心想，这个路仰之可真是阴险啊！现在应该怎么办呢？他心头一急，头上汗都冒出来了。
王子宜以为刘志丹还没有发现路仰之的阴谋，就在台下拼命地给他打手势，叫他过来商量。哪知刘志丹竟然两手交叉地夹在胳膊下，目不斜视地坐在那里，瞅着关帝庙的匾额出神，好像什么事情也没有发生一样。王子宜没有办法，只好连咳两声，哪知刘志丹眼角也不往这边斜一斜。
这时，县长走到台前，清了清嗓子，大声宣布选举大会开始，然后就发表演讲，说明这次选举的重要性和必要性，宣布了选举的原则和注意事项。刘志丹一听，这才飞快地写了个纸条，走过来把纸条交给了王子宜。王子宜打开纸条一看，上面就只写着“学生”两个字。
王子宜会心一笑，明白了，立即走出了会场。
县长的开场白还没有讲完，门外又拥进来一群穿学生服的小伙子。刘志丹就走过去对县长说：“县长，这些学生都是绅士们的儿子，老年人路远不能来，就派他们作为代表来参加选举！”
县长心里当然清楚是怎么回事。既然有了刚才路仰之的那一大批“远乡绅士派的代表”，这一回县长也只好点了点头，说：“既然都是保安县的后生，又是乡绅们的代表，当然可以参加选举。”
于是，这些学生就分散开来，坐到选民中间去了。
选举开始了，选民们都在填写选票。可是在场的选民有一大半人不识字，拿着选票团团转，都在找人帮自己填写选票。这时，这群学生就派上用场了，他们填写了自己的选票后，就马上自告奋勇给那些人代笔。哪知路仰之请来的那十多人也不认识字，也来找学生们帮忙。学生就问：“选谁？”
他们马上回答说：“路仰之！”“路总团总！”
也有的信口说：“随便！”
学生们一听，嘴里说“好”，手下就笔尖一溜，都写成了“刘志丹”“曹力如”。他们一边写，一边在笑。
等到唱票结束，一宣布选举结果，刘志丹以压倒多数的选票当选保安县民团团总，曹力如的得票居第二位，理所当然地当选为副团总，而那些投给路仰之的选票，有一半是废票，有的选票上没有写名字，有的写着“路总团总”，还有一张写着“随便”两个字。路仰之彻底失败了，气得满脸通红，一脚踢翻板凳走了。
刘志丹知道，路仰之并不会轻易认输，一定会搞名堂，就叫王子宜马上组织人去动员民团里的党员，做好赶路仰之下台的准备。
到了刘志丹和曹力如上任的那一天，路仰之果然跟县长耍无赖，在县政府大吵大闹。他说：“刘志丹是共产党，是上边通缉过的共党要犯，我决不能把团总的位子交给他！”
这时，县长又捧着个水烟袋，慢条斯理地说：“老路啊，这可是众人的意思，我也开不得口。”
路仰之顿足捶胸地说：“谁说是众人的意思？民团里都是我的人，他们都要挽留我！他刘志丹就是得了全票也上不了任！”
然而，就在路仰之还在县政府大吵大闹之时，民团的那些团丁们已经动手了。他们把路仰之的铺盖卷儿捆成一团，扔到县政府的大门口来了。不一会儿，县政府和民团团局门前扯起了红布，挂起了彩绸，插上了红花，别上了柏树枝子，贴上了“欢迎刘团总”的标语。路仰之走出县衙，正遇上一群团丁、学生，敲锣打鼓，吹唢呐，喊口号，把刘志丹和曹力如前呼后拥地迎进了民团团局。
掌握了民团，就是掌握了保安县全县的军权。刘志丹一上任，就着手进行了整顿，废除打骂团丁的陋习，给他们改善生活，对他们进行政治教育，并在民团内建立了党的组织。他要把保安县的民团，改造成一支革命的武装。
曹力如当了副团总，又兼保安县高等小学校长。这样一来，保安县的军事、教育大权，都掌握在共产党手里。他们又对全县各区小学的校长进行了新的调整，有的派去中共党员，有的换成了进步分子。并在一些进步教员和年龄较大的学生中，发展了不少中共党员和共青团员，从此使保安县的永宁山，变成了陕北的“红色堡垒”。
这时，当年保安高小的三位同学，又因为共同的革命目标走到了一起，在实现他们少年时代改革社会的梦想。这时，王子宜高兴地对刘志丹和曹力如说：“现在有了军权，说话顶事，工作也好做了，到底比光贴贴标语顶用得多啊！”
1929年7月，中共陕西临时省委第三次全体会议召开，选举刘志丹为省委候补常委。同年8月中旬，中共陕北特委召开第五次会议。在会上，刘志丹辞去军委书记一职，决定到陕甘边界一带开展兵运工作。虽然他已经把保安县的一个民团抓到了自己的手上，但这远远不能满足当时革命形势发展的需要。
当时，陕甘交界的地区北到定边，南到淳化、耀县的桥山山脉，是一个“三不管”的地带。这一带军阀统治比较薄弱，不少土匪只要搞了几杆枪，就可以占山为王，割据一座山头，还有许多因反抗压迫走投无路的农民，也常常在此啸聚山林。那些当地的封建社团如哥老会、青洪帮等也都在这里占有地盘。刘志丹看清了这个形势，号召党员团员占山头闹革命。他常说，连土匪都可以在这些地方称“山大王”，弄得国民党无可奈何，我们共产党人为什么不可以在这里闹革命呢？
1930年1月，刘志丹等人到陕甘边界南梁一带活动，启发教育哥老会成员郑德明、朱志清等克服封建思想，来维护穷苦百姓利益。从此，刘志丹就利用亲友等各种关系，先后打入陕甘边界一些军阀军队和民团进行兵运活动。
正在这时，一个新的机遇又来临了——1930年春，冯玉祥为了准备中原大战，就把甘肃、宁夏的主力部队都调到了河南一线。为了控制后方，冯玉祥就委任苏雨生为骑兵第四师师长，留守宁夏平罗，命令他招兵买马，扩展自己的地盘。苏雨生原本是包头的土匪头子，后来有了一定的实力，被冯玉祥收编后就成了一方军阀，所以，招兵买马抢地盘是他们共有的本性。土匪出身的苏雨生见有机可乘，认为这正是扩充自己势力的好机会，于是就树起了大旗，广招兵马，来者不拒。
中共陕北特委抓住这一机会，立即派刘志丹、谢子长等共产党员打入苏雨生部。由于他俩巧妙周旋和默契配合，又一次被委以重任。谢子长任苏雨生部第十一旅的旅长，刘志丹任苏部第九旅第十六团的中校副团长（后又提升为十九团的团长）。不久，他俩就在苏雨生的部队里秘密建立了党的军委，大力争取中下层军官和士兵，发展中共党员，训练军事干部，以备后用。
当时，苏雨生部许多团以上干部都与谢子长、刘志丹相识，也愿意借助年轻有为的刘志丹、谢子长来扩充自己的实力，所以苏部的兵力一时大增，威震一方。这就引起了当时处于“地头蛇”位置的西北“五马”（即马鸿逵、马鸿宾、马步青、马步芳、马青宛）的严重不满，这直接引发了“五马”与苏雨生之间的军阀混战。
苏雨生哪里是“马家军”的对手，一触即溃，四分五裂。刘志丹、谢子长正好又利用这一机会，借故带领由我党控制的一部分队伍转移到甘肃的庆阳地区，形成了一支独立的革命武装，真正实现了“借水养鱼”的“兵运”目标。
