同年 9月，赴苏联莫斯科中山大学学习。1928年6月参加了中共第六次全国代表大会。同年冬回国，任中共中央军事部参谋科科长。随后，任中共南京市委书记，组织领导兵运工作。张国焘在攫取党和红军最高领导权的阴谋活动中，不惜采取暗杀手段，将曾中生等秘密处死，企图杀人灭口。1930年8月，曾中生担任中共中央军事委员会委员，武装工农部部长。在六届三中全会后，他以中共中央特派员的身份到达鄂豫皖根据地，建立了中共鄂豫皖临时特委和临时革命军事委员会，统一领导和指挥鄂豫皖地区的红军和地方革命武装，粉碎了敌军对鄂豫皖根据地发动的第一次大规模"围剿"，巩固和扩大了鄂豫皖根据地。1931年2月，中共鄂豫皖特委和革命军事委员会正式成立，曾中生担任特委书记和军委主席，主持制定了根据地建设的各项政策，创办了中国工农红军军事政治学校第四分校，并亲自兼任校长，培养训练干部、整编红军主力部队。与此同时，曾中生与旷继勋、徐向前等采取声东击西、"飘忽"制敌的战术，领导和指挥鄂豫皖根据地的红军和地方武装取得磨角楼、新集、双桥镇等战斗的胜利，粉碎了敌军第二次大规模"围剿"。同年4月，张国焘到达鄂豫皖根据地后，曾中生被改任为中共鄂豫皖中央分局和革命军事委员会副主席，并被调任红四军政治委员。同年夏，曾中生与红四军军长徐向前率部南下作战，连克英山、蕲水(今浠水)、罗田、广济等县城，并取得漕河镇、洗马畈等战斗的胜利，共歼敌7个多团，形势对红军的发展十分有利。但是，张国焘命令红四军在占领英山后，迅速出潜山、太胡，直逼安庆，威胁南京，并限一个月完成。这一计划显然是冒险，曾中生坚决不同意。他仍主张占领英山后，出蕲春、黄梅、广济地区，恢复这一带的根据地，使之与鄂豫皖边区连成一片，并相机出击武穴，牵制敌人。张国焘顽固的坚持其冒险主义进攻计划，不仅拒绝采纳曾中生的正确意见，而且以"肃反"为名，对曾中生进行残酷斗争，无情打击。曾中生是中共中央派来的代表，他讲政策，作风民主，深受干部和群众的拥护。因此，张国焘在打击曾中生时，采取了先除掉拥护曾中生的主要干部，尔后再对付曾中生的办法。真可谓毒也。1931年10月上旬，张国焘在光山县泼皮河召开红四军团以上干部会议，以曾中生召开鸡鸣河会议和向中共中央直接报告为由，指责曾中生"动摇了党在红军中的威信"，"反抗中央分局"、"纵容反革命分子活动"等等。他还声称:红四军南下，"采取了一个完全错误的军事计划"，虽然取得了胜利，也"是侥幸得来的"。他对曾中生在红四军的政治工作中，罗列了四大错误:第一，没有注意到肃反的工作，以致改组派及其他反动派别，得以大批的混到军中来(最近大破坏的结果，逮捕了许多反动分子，尤其是参谋部经理处等机关中混进去的最多)。第二，不坚决淘汰富农分子，以致红军的成分始终不能改善。第三，不注意引进真正坚决勇敢的工农干部，始终相信政治工作是要知识分子做的，以致红军政治部中充满了小资产阶级知识分子的成分，各级部队中军事政治的干部很少工农分子。第四，几乎没有经常的红军内部的政治教育工作，一般红色战士的政治上依然陷于无知识状态是不必说，尤其是党员、团员也是一般的政治水平异常低下。他说:"以上种种都指明四军的错误绝不是个别的错误，而是由系统的整个政治路线上的错误。
