武汉政府没有理睬蒋的指责。中央执行委员会撤销了蒋作为政治委员的职务，使其总司令之权隶属于新的军事委员会。
他在国民党中的所有重要职务，都转给了他的对手汪精卫。那时，汪正在从法国返回的途中。该委员会还通过发表公告对他进行谴责。指责他是专制者和独裁者，说他的统治保护“官僚、商人和其他机会主义者”。
按照蒋的说法，是共产国际劝汪精卫经莫斯科回国的。尽管他们之间发生过一些事情，但蒋明显对汪的回国仍抱着希望，认为他的老同事会因汪的回国而被重新启用。汪1927年4月1日回国后的几天里，蒋和汪在上海会晤了好几次。
接下来发生的事情是，根据蒋的建议，一个姓吴的国民党人参加了“清党”会议的讨论，此人是蒋在控制委员会中的忠实信徒。
会议的重点是讨论“清除共产党”的问题。当他们干这件事的时候，一些远离革命的地主和富人发现他们有救了。吴在会上作了报告，报告中对共产党和鲍罗廷进行了攻击。
4月5日，汪同来上海的共产党领袖陈独秀发表了一个联合宣言，重申共产党接受孙中山的三民主义，并且进行了辟谣。因为有谣言说，共产党企图破坏国民军，并攻击租界；而国民党准备解除共产党工人纠察队的武装，并将共产党开除出党等。
同日，吴等人决定“清党”，他们建立了一个委员会研究有关方案。6日，北京和上海是多事的一天。在上海的所有武装集团接到通知，从今以后他们必须按军纪行事，任何反对行动将以叛乱论处。
在北京，张作霖派警察搜查了苏联使馆，使苏使馆人员大吃一惊。
他们在苏使馆中发现的东西，比张本人希望的要多。中共的建党人之一李大钊和另外35名共产党员在那里避难。张作霖当时的外交部长宣布中断与苏联的关系，并且通知苏联人回国。
4月28日，张下令杀死了李大钊及另外19个共产党人。
蒋依然面临着如何使在武汉的敌手溃散的问题。
中央执行委员会撤销他各种职务的消息，使他感到沮丧。
李宗仁也为来自上海的消息所震动，便离开安徽前线来到上海与蒋会面。他到达上海的时候，正值蒋接到第一军军长何应钦要求辞职的电报。蒋说：“如果连第一军都不能稳定的话，那我就无法维持下去了。”
