1920年4月，共产国际代表维经斯基到了北京，他此行的目的是与中国革命组织建立联系。他与北大的李大钊进行了深入的交谈，了解到李大钊和陈独秀有筹办中国共产党的打算，十分高兴。
这之前的陈独秀，对马克思主义虽说不上了解很多，但已经有了一些初步的知晓，且有着浓厚的兴趣。经过李大钊的大力推荐，维经斯基来到上海找到了陈独秀。
与维经斯基的见面，陈独秀对马克思主义者有了更直接的了解，对于共产国际准备在中国建立共产党也产生了兴趣，遂介绍了当时上海的一些有为青年给维经斯基认识，并且帮助维经斯基建立了共产国际东亚书记处中国科。维经斯基通过与陈独秀的交谈，看到他在青年中的威信和地位，以及他的实际办事能力，确信陈独秀就是共产党在中国最合适的领头人选。
1920年8月，一个命名为“中国共产党”的共产党早期组织成立了，陈独秀成为书记的当然人选。利用在全国青年中的影响和号召力，在陈独秀的组织下，全国各地纷纷成立了宣传马克思主义的组织支部。不久，青年团也在陈独秀的领导下成立。
在陈独秀的带动下，上海共产党小组纷纷进入工厂，了解工人的现实处境，纷纷建立工人组织——工会，为工人争取应有的权利。同时，他将《新青年》彻底改为党的机关刊物，大力公开宣传马克思主义和社会主义。他的这一举动，引起了《新青年》同人们的异议，原先的办刊团队也因此而解散。
1920年11月，陈独秀接到陈炯明的来电，邀他到广州。当时的广州是中国革命气氛最热烈的地方，孙中山等国民党人士都在广州。陈独秀与维经斯基、李大钊等人商量后，决定前往广州，因为那正是可以大力宣传马克思主义的很好平台。可是，当他来到广州，渐渐发觉这里的革命气象也只是外在的景观，各派势力间的政治角逐才是革命外在气象下的主题。同时，他宣传的马克思主义和社会主义，也遭到了不少人的排斥和不满，包括陈炯明。陈炯明原是要陈独秀将他在北大革故鼎新的作为带到广州，从教育界、知识界给广东带来新的气象。出乎陈炯明意料的是，陈独秀此行讲得最多的竟然是马克思主义和社会主义，这引起了陈炯明的不快。
陈独秀一方面感受到了广州当地的局势，但一方面对于筹办一所大学与宣扬马克思主义依然信心十足，如果能够在一所大学、一个地方将思想文化领域和社会实践领域结合起来，岂不是一件很好的事情。此时的陈独秀，从新文化运动时期的思想文化启蒙领域，初步踏入了更加直接的社会实践改造中，力图通过对劳工阶层的权利争取，一个领域一个阶层地团结起来，用马克思主义的理论和社会主义的实践实现自治，一步一步达到社会的整体进步。但是，他此时对社会变革的中心观点依然是：认为社会的进步完善，是一个渐进的逐步过程；社会的变革，是一个人一个群体逐步觉醒、逐步参与的共建过程。一个组织的建立无非是为使这些社会共建的活动提供一些思想资源和背后助力而已。所以，他虽然身为上海共产党的书记，但对于离开上海到广州进行其他工作，丝毫不觉得有什么违逆、偏差的地方。他的这种思想家而非政治家的文人气质，可以说贯穿了他的整个一生；而这种气质也正是他值得人敬佩和令人叹息的特质。
1921年，马林替代维经斯基成为共产国际委派到中国的代表。当时的全世界共产主义运动都直接接受共产国际的领导，作为共产国际代表到各国就是对各国的共产主义运动进行指导，共产国际代表在各国共产党的实际事务中起着绝对的领导作用。但是，共产国际囿于对各国社会现实认识的不足或者偏差，使得派往各国的共产国际代表在执行共产国际的指示时，多有与各国现实不相符之处。现在我们回过头来看，历史确实也证明了这点。
马林来到上海，进行的第一件大事就是组织召开中国共产党的第一次全国代表大会。可当时，陈独秀还在广州。马林对于陈独秀作为上海共产党的书记，却身在广州有些不快。他去电广州，催促陈独秀返上海，陈独秀因为前面所述的对中国社会变革的认识，并不十分在意马林的催促。
所以，中国共产党的第一次全国代表大会陈独秀并没有出席。不过，因为陈独秀在共产党建立过程中的实际作用，以及在国内思想界的地位，他还是被选为中国共产党的第一任书记。
马林作为从莫斯科来的共产国际代表，带着莫斯科的理念和模式看待草创的中国共产党，觉得中国共产党的诸多工作都做得非常不到位。现在，他看到了陈独秀在中国共产党内的影响和地位，想立刻召回陈独秀的心情更是急切。他一方面对陈独秀脱离上海不满，一方面也希望党能在陈独秀的组织带领下尽快进入正轨。于是，马林派包惠僧到广州接回了陈独秀。
20世纪上半期，共产主义运动在世界各地进行得如火如荼，每个国家的共产党组织都直接受到莫斯科共产国际的领导，但陈独秀因为对社会渐进变革的认识，以及对共产国际在各国运作模式的不了解，他对马林不是很在意。所以，他来到上海后，并不是很重视马林的意见。同时，马林的个性也和陈独秀一样有着傲慢刚烈不屈服的一面，这就造成了二人不可避免的冲突。二人常常因为坚持自己的意见而激烈辩论。
陈独秀觉得一个外国人不可能了解中国的现实，用他的方法来搞中国社会的革命肯定是有很多不合适的，中国的革命，是要靠中国人自己来领导实践才会最终成功。同时，他觉得用外国的援助来搞中国的革命，在当时各靠外国支持的军阀割据的时代里，总有授人以柄的地方。再加上马林常常以共产国际代表的身份用一种居高临下的姿态对他讲话，这激起了陈独秀骨子里的傲慢，他更加不将马林放在眼里。
而马林这边，他从共产国际的运作模式和理念出发，认为中国共产党是共产国际在中国成立的一个支部，它的一切活动当然应该服从于共产国际的安排。可是，陈独秀却不遵守这些规定，显然是马林所不能接受的。
二人的矛盾渐趋恶化，陈独秀甚至很长时间都不与马林会面，报告党的工作情况。
二人的关系直到陈独秀的一次被捕才最终得以缓和。
陈独秀来到上海的活动，一直受到当局的关注。1921年10月，巡捕以宣传赤化为由，将陈独秀拘捕了起来。
作为当时的社会思潮的重要领袖被捕，这件事在全国引起了剧烈的反响。社会各界包括原先《新青年》同人、大学同事和知识界、报界、政界等人士，都为陈独秀的被捕发出了愤怒的吼声并实施了一些实际的救援活动。
马林于陈独秀被捕后，立刻展开救援活动，动用了他能动用的所有关系，并从共产国际要来资金，为陈独秀聘请辩护律师。陈独秀最终很快被释放，马林可谓尽了全心全力。
生性耿直的陈独秀将马林的一切都看在眼里，出狱后的他见到马林很是感激和感动。他与马林进行了两次长谈，交换了彼此的意见。当然，相互也有妥协，但彼此的情感走近了一大步。
最终，陈独秀接受了马林关于共产国际通行的运作方法，表示中国共产党拥护共产国际，同意接受共产国际的领导，接受共产国际的经济援助。作为中国共产党的书记，陈独秀真正以组织的形式，开始履行起了自己的职责。
中国共产党开始以一个政党组织的形式，正式跃上了历史的舞台。
马林于1921年年底的时候，拜会了国民党领袖孙中山。国民党是当时中国革命力量中最强大的组织。且当时的孙中山由于军阀的纷争，也正欲团结国内反对北洋军阀政府的力量进行一场革命。所以，马林自然找到了孙中山。他和孙中山的见面应该是和谐愉快的，不久他就来到了当时国民党力量的中心广州，进行了一番考察。最后，他认为，完全可以借助国民党的力量在中国实现社会主义的革命。而这革命的具体操作，可以通过共产党加入国民党的形式加以完成。
陈独秀在清末的革命活动，使他认识到了很多革命不好的或者是局限性的一面，而对于国民党，他也有诸多疑问在心。所以，现在中国共产党既然有了自己的组织，他认为以独立的政党的形式参与社会的变革事务才是可取的模式。当时，中国共产党内部持陈独秀同样意见的不在少数，他们都认为，和国民党的合作会丧失自己的革命追求。但在共产国际和马林的坚持下，最终服从了莫斯科的决议。
在孙中山默许“联俄、联共、扶助农工”三大政策的前提下，1922年8月，陈独秀等共产党员以个人名义加入国民党，对外以国民党的名义投身到了革命中。
但国共两党这历史上的第一次合作，并不那么顺利。两党之间虽然合作做了不少的革命事宜，但相互的猜忌和矛盾一直存在。
国民党内对共产党的批判反对力量愈益强大。到1925年孙中山逝世，这些力量集中喷涌出来。他们公开反对共产党，反对马克思主义，要求将共产党逐出国民党。甚而，国民党内同情或者支持共产党的成员，如廖仲恺，竟然被这些反共势力暗杀掉。
以陈独秀为首的中国共产党中央，为这些事务，和共产国际多次进行沟通，要求对国民党的这些举措进行正面回应。但因为当时莫斯科看到国共合作的不如人意，对中国共产党在中国的实际作用产生了严重的误判，所以，面对国民党的攻击，莫斯科多次采取了让步政策为主。而作为共产国际的一个分支，陈独秀等最终也只得服从莫斯科的决定，在对国民党这些举措的回应上多采取了妥协的做法。
当然，作为共产国际政策执行者的陈独秀，骨子里的书生本色，使他很不适应政治斗争。他的性格就像鲁迅先生说的，有几杆枪、有几把刀，别人看得清清楚楚。他本就厌恶阴谋诡计的算计，被迫离开北大就是他心里永远的痛。所以，他面对国民党势力的攻击时，自然是做不到兵来将挡，水来土掩。因为，阴谋诡计不是他这样的人所能做得出来的。所以，当他后来面对蒋介石这样的政治斗争高手时，举措失当也不令人意外。何况，即使他有了一些合适的回应，最终也还得屈服于莫斯科做出的不管是合理还是不合理的决议。
1926年3月，蒋介石制造了“中山舰”事件，借口中国共产党要武装暴动，扣留了中山舰并逮捕了舰长共产党员李之龙。接下来就是在广州全面展开“清共”行动，准备开始“整理党务案”，意欲将共产党排除出广州。
陈独秀对此事件十分愤怒，向莫斯科共产国际提出了坚决要求退出国民党的致函。可是，共产国际最终否决了他的提议，要求共产党对国民党再次妥协。
蒋介石当初并没有料到莫斯科和中国共产党会对自己让步，现在见对方竟然一步步退缩，在反共举措上，顿时胆子大了起来。
蒋介石逐渐掌握了国民党的军事力量，陈独秀似乎看出了蒋介石的威胁，以及他与其他军阀的相似之处。他似乎看到，蒋介石的诸多做法，导致的肯定是国民党的一党独大。所以，到1926年6月，广州国民政府决定北伐时，陈独秀提出了强烈的反对，并公开发表了自己的看法，指出蒋介石的军阀本质。言论公开后，陈独秀受到的抨击可想而知。这些抨击不仅仅来自国民党，也有来自共产党内的同志。
为何自己当初想借政党形式介入社会变革的设想，走到了这样的地步？
种种怀疑与无奈，开始遍布陈独秀的脑海。
而到了1927年国民党准备展开“四一二”大屠杀前，他按照莫斯科的意见迎接汪精卫回国，想以此牵制蒋介石。而当他和周恩来一起见了汪精卫之后，发表了《汪陈宣言》，表示继续服从国共合作的方针。可是，不想汪精卫与蒋介石“宁汉合流”，国民党内部两股力量合在一起，对共产党进行了长期的绞杀。
1927年7月，陈独秀鉴于在莫斯科指示下，办不好事情又不得不做事的境况，提出了辞职。莫斯科批准了他的辞职。自此，虽然他还就一些事务向共产党提出自己的建议和看法，但他基本上离开了中国共产党，再也没有参与共产党的实际事务。
