1926年5月14日傍晚，已经从苏联返回广州的苏联顾问鲍罗廷，通知中共代表张国焘和谭平山，说是当晚要去会晤蒋介石，商谈要事。
　　晚8时，张国焘和谭平山驱车前往东山蒋寓，蒋介石又陪他们来到对面张静江寓中。蒋介石向张国焘、谭平山透露了将于翌日召开的国民党第2届中执会第2次全会的一些内容并特别关照他们，中共在翌日不要闹事——这预示着翌日的会议将对中共有“大动作”。
　　翌日——5月15日，广州街头军警加强了巡逻，在戒备森严的气氛中，国民党2届2中全会召开了。毛泽东作为候补中央执行委员出席了会议。孙中山去世后，国民党中央的会议向来由汪精卫主持，这一回改由蒋介石主持，意味着蒋介石已成为国民党的领袖。
　　对于蒋介石来说，这次会议是“历史性”的。会上，经蒋介石提议，由张静江接替汪精卫出任国民党中央执行委员会主席，由谭延凯接替汪精卫出任国民党中央政治会议主席兼国民政府主席。这么一来，蒋介石战胜了他在国民党内最重要的对手——汪精卫。虽说他自己并没有出任国民党中央执行委员会主席，但由张静江担任此职，就等于由他担任。
　　走笔至此，顺便交代一下汪精卫的行踪：在中山舰事件爆发后，3月25日，汪精卫便“失踪”了。外界盛传汪精卫经香港去苏联了。其实，汪精卫仍秘密隐居于广州。他岂甘大权这般轻松落在蒋介石手中？他窥测着时机。无奈汪精卫手中无军队，斗不过蒋介石。静观了一个多月，他知道已经没有希望战胜蒋介石，遂于5月11日悄然离穗赴港。
　　还要顺便提一笔：蒋介石借助于廖仲恺事件，逼走了另一位资历、声望在他之上的胡汉民。胡汉民来到苏联，发表了一通慷慨激昂的演讲。听说发生了中山舰事件，听说汪精卫“失踪”，胡汉民兴奋起来，在4月29日回到广州，盘算着接替汪精卫的空缺。不料，蒋介石不买他的账，冷落了他，弄得他好尴尬。无可奈何，胡汉民只得坐船前往香港。
　　真是无巧不成书，胡汉民也是在5月11日离开广州。他上了船，竟然遇见那位“失踪”已久的汪精卫！在孙中山去世后，他俩在国民党内的地位均高于蒋介石，被人们视为孙中山的接班人。眼下，却被蒋介石逐出，坐上同一条驶往香港的轮船，真是不胜感慨！汪、胡的出走，为蒋介石上升为国民党领袖扫清了道路。
　　会议的另一重要议题，是讨论、通过由蒋介石、张静江研究多日而提出的《整理党务案》。这一《整理党务案》是针对中共的，难怪他事先关照中共代表不要闹事。
　　《整理党务案》规定：“凡他党党员之加入本党者，各该党应将其加入本党党员之名册，交本党中央执行委员会主席保存”；“凡他党党员之加入本党者，不得充任本党中央机关之部长”；对于加入本党的他党党员，各该党所发之一切训令，应先交联席会议通过”……
　　这里的“他党”，实际上指的是中共。“整理党务”，实际上是从国民党中清除中共党员，虽说蒋介石一再声明“并不是限制共产党”。
　　会议开了一周，通过了《整理党务案》，蒋获得了大胜利。
　　中共内部对于《整理党务案》争论激烈，毛泽东主张“坚决顶住”，但张国焘作为中共中央代表，按陈独秀意见，要大家签字接受。毛泽东拒绝签字。
　　5月20日，毛泽东在会上作了《宣传部工作报告》。作报告时，大会由蒋介石主持。
　　会议结束之后，根据《整理党务案》，担任国民党中央部长的中共党员必须辞职。于是，在5月25日举行的国民党中央常委会第28次会议上，有这样3项议程：
　　“毛泽东同志提出辞去宣传部代理部长职务请另荐贤能继任案”；
　　“林祖涵同志（引者注：即林伯渠）提出辞常务委员会秘书及中央财政委员两职，请另选继任，以重党务进行案”。
　　在28日举行的国民党中央常委会第29次会议上，以上3案均“照准”。会上，张静江同志提议请任蒋介石同志为组织部长，顾孟余同志为代理宣传部长。”