1966年底，在林彪、江青等人的挑唆、鼓动下，体育系统的造反派将斗争目标集中到贺龙身上。他们分批不停地找贺龙“澄清问题”、对各种事情表态。贺龙日夜不得安宁，无法休息。12月26日，周恩来对贺龙说：“你身体不好，在家中，造反派天天找你，你得不到很好休息。组织决定你暂时搬到新六所去住。家中的事情由我来管。”到新六所没有多久，解放军政治学院造反派声称要结队前来揪斗贺龙。薛明三次向周恩来告急，没有及时得到回答。贺龙对薛明说：“有什么了不起的事，他们是瞎胡闹！走！我们回去和他们讲理去！”路经中南海，贺龙、薛明来到周恩来的住处，他要向周恩来报告准备搬回家去住。周恩来在人民大会堂开会没有回来，秘书为他们在西华厅搭了床，对他们说：“总理让你们先在这里休息，暂不要回家。”
周恩来很忙，每天都是天快亮时才能回家，没有时间与贺龙谈话。但贺龙住在他的家里，他承担着巨大压力。1967年1月19日下午4时，周恩来与李富春一起来找贺龙正式谈话，周恩来说：“本来这次谈话还有江青同志，但她临时说有事不来了。”周恩来告诉贺龙：林彪说你在背后散布他历史上有问题，说你在总参、海军、空军、装甲兵、通信兵到处伸手，不宣传毛泽东思想，毛主席百年之后他不放心。还有，关于洪湖肃反扩大化问题，你、夏曦、关向应都有责任。你要好好想一想。贺龙几次按捺不住，站起来想说话，但没有等他说话，周恩来紧接着说：“你不要再说了。毛主席不是保你嘛。我也是保你的。给你找个地方，先去休息一下，等秋天我去接你回来。”周恩来还勉励贺龙说：“要活到老，学到老，改造到老。”贺龙听了周恩来的话，伤心地说：“我没想到把我看成这样的人。”
1月20日凌晨4时，贺龙和薛明被送到北京西山一个与外界隔绝的地方，这是一处建在半山腰的平房院落，三面是山，只有一条路可以出入，除了贺龙、薛明以及看守他们的警卫战士以外，什么人也看不到。大半辈子都是在激烈的战斗和紧张的工作中度过的贺龙，骤然离开群众，离开工作，到这么一个荒僻的山沟里，真是难以忍受。贺龙对薛明说：“我真不该到这个鬼地方来。别人不了解我，难道他周恩来还不了解我？看来周恩来的处境也很困难了。”停了片刻，贺龙又说：“洪湖的事可以考虑，其他事情都是林彪对我的陷害。我在旧社会见过各种人，碰到过各种主义，选择来选择去，最后认定只有共产党才能救中国。从此以后，我就把自己的一生献给了党和共产主义。两把菜刀闹革命、北伐、南昌起义、湘鄂西、陕甘宁、晋西北，谁不知道我贺龙？毛主席不是还赞扬过我吗？我要回去，找他们算账。”说着，起身穿鞋，但看到门外有警卫走来走去时，又坐了下来。从此，他像一头关在笼子里的雄狮，整日坐卧不宁，食量减少了，睡眠也差了。
他经常思考着周恩来与他的谈话，对薛明说：“说我背后散布林彪历史上有问题，这完全是无稽之谈！”“还说我到处伸手夺权，不宣传毛泽东思想，这也是林彪一伙编造的，能有人相信吗？”“这话听起来厉害，实际上完全是胡扯。”“关于湘鄂西肃反，说我要负多大责任，我想不通。当时，我不是肃反委员会的委员，审讯、杀人我都不知道。”“过去，周逸群曾跟我说过，要警惕党内有‘老鸡婆’(机会主义分子)。我懂什么是老鸡婆？参加党才那么几年，政治水平只有那么高。”“要说我当时作为最高负责人之一，最终没有保住像段德昌等一大批好同志，使党的事业受到了不可估量的损失，我是有责任的，但不能各打三十大板，那样是不公平的。”
