据父亲后来回忆，1959年任总长时主席找他谈话，说我是军委主席，你作为秘书长军队的事情你一个月向我汇报一次做到做不到?父亲说保证做到。主席又说一个星期汇报一次做到做不到?父亲又说保证做到。可林彪给他规定凡是向主席汇报的事，向主席送的文件必须先向他请示，同意了才能去汇报、去送。这给父亲出了很大的难题，林彪身体不好，经常在外地休养，主席在北京突然召父亲去汇报，根本无法事先请示林彪，只能事后汇报，主席有时和其他老帅，有时和父亲当场商量就定了。林彪认为父亲有意“架空”他，企图让主席冷落他，这当然是林彪最不能容忍的事。第二条反对“突出政治”，阳奉阴违，搞“折中主义”。实际上父亲就是反对林彪提出的学习毛主席著作要带着问题学，立竿见影，实用主义的做法，他支持罗荣桓元帅的提法，全面地系统地学习毛主席著作，掌握毛泽东思想的精神实质。为此林彪还发了脾气，说什么肖华、杨成武这些人离开我都没有关系，你们两个罗，一个“大罗”，一个“小罗”(中央苏区时期对罗荣桓、罗瑞卿的称谓)离开我，我就难过。第三条和同志们关系不好，几个老帅也有意见，底下人意见更多。但刘伯承元帅替他说了公道话，刘帅说：“说罗瑞卿不尊重老帅，封锁我们，我没有感觉，他还是经常到我这里来汇报的。”爹爹朱德已经不管军队的事了，从上海开会回来经常一个人独自叹气，在康妈妈一再追问下，才叹口气说：“罗瑞卿的那些事全都看得见，他办的每件事都报告过中央，经毛主席同意的，说他篡军反党，无法让人相信。为什么要撤?这不是撤一个罗瑞卿的问题，像这样可靠的人都要撤，打击面宽了，真假失去了标准，今后党内要不平安了。”真给爹爹不幸说中了，不久“文化大革命”就来了。
总理谈完后，邓小平接着传达主席、常委的意见，情节是严重的，只要认真地改，仍然允许革命。
可能是总理和小平的安排，第二天晚上，陶铸先来看父亲，第三天上午李井泉也来看父亲……
12月15日周总理和邓小平又来第二次谈话，传达主席和常委们的意见，犯了这样的错误在军队继续工作已不适宜，可以写个报告请示调离军队。有些事不承认可以挂起来，中国有很多问题都是挂起来的，挂百年不行，还可以挂一万年。会议今天就结束了，17日和他们同机回北京。这次卓琳阿姨也来了，上楼去看了妈妈。妈妈一见到卓琳阿姨就哭了，说：卓琳，你看，别的还可以说，说他反对林副主席，怎么会有这种事?卓琳阿姨也哭了，说有什么办法呢?她要妈妈不要太难过。现在只有找一个比较合理的办法解决。
17日父亲和总理、小平伯伯、李富春同机回京。同机的还有张茜(陈毅元帅夫人)一个人，张茜阿姨手里拿着一枝花，上了飞机就送到妈妈这里，说我就送给你一个人!
打到“四人帮”后许多人都对上海会议感兴趣，总想解开这个谜团。父亲在世的时候来问的人很多，问的人多了父亲也觉得烦了，后来他精炼成了一句话：“林彪想拉我入伙，我不干!”关键是毛主席的态度，为什么会同意林彪整罗瑞卿呢?上海会议是“文化大革命”的前奏。“文化大革命”的主要目标是刘少奇，毛主席需要林彪，所以听了他的一面之词。1965年11月，父亲陪同柬埔寨国防部长朗诺到上海见主席，曾对主席说要去苏州看望林彪。主席反应很快，很认真地交代：“去看看好，要他好好休养，要养得像七千人大会时候一样，能够做三个钟头的报告。”1962年的七千人大会，是总结1958年大跃进以来的工作，主席让大家充分揭露问题，所谓“白天出气，晚上看戏”。主席认为三年多来的成绩和错误还是九个指头和一个指头的问题，但多数人同意少奇同志的分析，三分天灾，七分人祸。人祸中也包括苏联人逼债造成的因素。这时林彪出来讲话，说：“过去工作搞得好的时候，正是毛主席思想不受干扰的时候。凡是毛主席的思想不受尊重，受到干扰的时候，就会出毛病。几十年的历史就是这个历史。”毛主席看了这篇讲话后亲自作了修改印发全党，并加上按语：“这是一篇很好，很有分量的文章，看了很高兴。”到了武汉还问父亲：“林彪的这一篇讲话，你讲不讲得出来?”父亲老老实实地说：“恐怕永远也不可能讲得出来。”毛主席严厉地说讲不出来要好好学嘛!主席现在又提这个话应该是向林彪传达该请他出山的信息了。同时也希望缓和一下林和罗的关系。但林彪听到这个口信却下了整倒父亲的决心，于是立刻要吴法宪安排飞机，让叶群带上早已准备好的材料到杭州向主席告状去了。
我猜测主席的大意是让父亲离开部队，到地方去工作，像早先已倒台的谭政叔叔到哪个省当个副省长，离开漩涡。所以在上海会议期间还对林彪说过，说他反对你，他还没有反对过我嘛，只有一次反对我游泳，那还是为了我好嘛!但主席想打圆场，林彪不干，非置父亲于死地而后快，主席为了自己的“大事”只好由他去了。林彪摔死后这个障碍没有了，1973年12月小平伯伯向主席建议解放一批老干部出来工作，提到父亲时，主席马上说，我是听了林彪一面之词，所以犯了错误。小平讲，在上海的时候，对罗瑞卿搞突然袭击，他不满意。我赞成他。有几次听一面之词就是不好呢，向同志们做点自我批评。随后父亲就被解除监护。
父亲到底到过上海多少次?已不可数，但这一头一尾的上海之行却始终令他刻骨铭心，成为他一生经历中两道深深地刻痕。
