1927年4月到武昌中山大学读书，加入中国共产主义青年团，随即转入中国共产党。同年7月被派往鄂南通城从事农民运动，参与组织通城、崇阳农民武装，同年参加鄂南暴动，任党代表。这支武装在江西修水编入武昌国民革命军第2方面军总指挥部警卫团，他任特务连党代表，参加湘赣边秋收起义。经三湾改编，随毛泽东进入井冈山，历任中国工农红军(初称工农革命军)第一军第一师一团特务连党代表、第四军第十一师三十一团营党代表、第二纵队党代表。积极建立军队基层的共产党组织，实行民主制度，尊重爱护士兵，反对军阀作风。
1929年底参加中共第四军第九次代表大会(古田会议)，被选为4军前敌委员会委员。
1930年8月任第4军军委书记兼政治委员。
1932年3月任第1军团政治部主任。在第一至第四次反“围剿”斗争中，领导部队的政治工作，同时组织部队发动群众，打土豪、分田地，筹粮款，扩大红军队伍。第四次反“围剿”后，改任江西军区政治部主任，总政治部巡视员、动员部部长，曾兼任扩大红军突击队总队长。领导扩红工作成绩卓著。
1934年1月被选为中华苏维埃共和国中央候补执行委员，获红星奖章。同年9月任第8军团政治部主任。长征中8军团撤销，他先后任总政治部巡视员、第1军团政治部副主任。到陕北后，参加了东征战役。
1936年6月入中国人民抗日红军大学学习，并兼任培训高级干部的第一科政治委员。
1937年1月任军委后方政治部主任，7月任第1军团政治部主任。
抗日战争初期，任八路军第115师政治部主任。
1937年9月，率师政治部和少数部队，在晋冀边界的阜平、曲阳、灵寿一带发动群众，组织抗日武装，建立抗日民主政权。
1938年到吕梁山地区，与代师长陈光指挥午城、井沟和薛公岭等战斗，保卫了黄河河防。同年秋参加扩大的中共六届六中全会，随后任115师政治委员。
1939年3月初与陈光率115师师部和主力一部进入山东，参与指挥樊坝、梁山等战斗，重创日伪军。他坚决执行中共中央关于在统一战线中坚持独立自主的原则，强调团结抗日的友军和爱国进步人士，孤立和打击制造摩擦的国民党顽固派。他率领的115师部队，与山东人民抗日起义武装组成的八路军山东纵队并肩作战，先后在鲁西、鲁南、冀鲁边、鲁中、滨海地区发动群众，建立抗日民主政权，发展人民武装，巩固和扩大抗日根据地。
1941年8月任山东军政委员会书记。同年冬，日伪军5万余人“扫荡”鲁中抗日根据地，中共中央山东分局和115师师部等领导机关被日伪军合围于沂水留田一带。他准确地分析敌情，掌握时机，出敌不意地率部向日军占领区临沂方向转移，跳出敌人重围。后又返回根据地中心地区，领导军民坚持斗争，挫败日军在山东进行的规模最大的一次“扫荡”。
1943年3月任山东军区司令员兼政治委员，115师政治委员、代师长，中共中央山东分局书记，统一领导山东抗日民主根据地的党政军工作。他重视党的思想建设和组织建设，领导了整风运动。在抗日战争最艰难的岁月，领导山东军民进行精兵简政，实行主力部队地方化，加强连队基层建设，开展分散性、群众性游击战争，针对日军对根据地的“扫荡”和“蚕食”，提出“敌人打过来，我们就打过去”的“翻边战术”，扭转了山东抗日根据地的被动局面。
1944年开始组织一系列战役，实行局部反攻，巩固、发展了山东抗日根据地。
1945年指挥部队在山东进行大反攻，控制山东境内的津浦、胶济、陇海铁路，收复除济南、青岛少数城市之外的山东大部地区。此时罗荣桓的麾下已经是拥有27万正规军的、共产党在全国最强大的军事集团，建立了中共最强大的抗日根据地----山东抗日根据地，正规军人数占共产党军队的三分之一。
1945年6月，被选为中共第七届中央委员。抗日战争胜利后，从1945年10月底开始，罗荣桓领导的山东军区部队陆续出发，除个别部队是走陆路外，其他绝大多数都是分三批乘船到东北的。山东军区开创了我军历史上最大规模的渡海行动。10月24日，罗荣桓接到中央的电报，要他“率轻便指挥机关，日内去东北”。除6万余人正规部队以外，山东军区还派往东北20个基干团，约3万人。这样，山东军区在抗日战争结束后，向东北共输送了9万人的干部、战士。在罗荣桓一行到达东北的前后，除万毅和萧华所率领的干部、战士外，还有许多山东军区的部队到达东北，成为东北民主联军的中坚力量。剩下的20余万正规军也成为了第二野战军、第二野战军主力。
进军东北后任东北人民自治军第二政治委员，东北民主联军副政治委员。1946年后，任中共中央东北局副书记、东北人民解放军副政治委员、东北军区第一副政治委员、东北野战军政治委员。他强调打破和平幻想，准备长期作战，积极贯彻中共中央“让开大路、占领两厢”的战略方针，曾提出发动群众，创建东北根据地的建议。他组织领导了东北地区大兵团作战中的政治工作。1947年在部队中推广第3纵队诉苦教育经验，增强指战员的战斗意志，提高部队战斗力。这一经验后经毛泽东批示在全军推广。他主持组建二线兵团，为主力部队输送了大量兵员。将东北野战军(第四野战军)由11万余人发展到150万人，成为各大野战军中实力最强的野战军，占全国军队总数的三分之一。
