王树声就任总军械部部长后，按照规定有关部门打算给他修建一套设备齐全、装修较好的住房。但王树声谢绝了。他考虑，国家正在搞经济建设，到处都需要花钱，自己能为国家节省一点是一点，只要能住下，有个办公、会客的地方就行了。他坚持不建单独小院、楼房，只建一般平房。这样，他全家六口人，就居住在一幢狭窄低矮的平房里。这所房子外无围墙，屋内装饰一般，陈设简朴，只有一些日常的木质家俱，和普通的人家没有什么区别。
总军械部撤销后,他到军事科学院工作,原来居住的大院房产转属另一单位。组织上考虑他多有不便，决定为他另觅地方，建造新居。有关部门的同志很重视，积极帮助王树声挑选房址。开始，规划人员给王树声找的房址在玉渊潭附近。这里紧靠八一湖，近临引水河，绿荫环抱，环境幽静，风光宜人。老将军一眼就看中，正待说定，忽然看见不远处有几间民房，即问这碍不碍事。规划人员说，如果要在这里建房，就动员那几户人家搬迁。王树声思忖片刻，摆手说，“还是算了吧，凭什么要撵人家老百姓!”
后来，规划人员在故宫筒子河畔找到一处明清时古建宅院，当时无人居住，就请王树声过目。陪同的人怕老将军看不上，就指着护城河说：“您瞧，这地方难得呀。将来盖起了新房，坐在窗下就可以钓鱼了。”王树声连连说：“嗯，不错，不错!”接下来他问：“这么好的地方，为什么没有人居住呢?”陪同人员说，这原来是西藏某上层人物的住所，“文革”中搬走了，如果首长选中这个地方，把老房拆改一下就行了。王树声一听，连连摇头说：“不妥，不妥，少数民族同志的住房不能占，这是民族政策，他现在不住，以后还是会把他请回来的。再说这是古建筑，破坏不得的，麻烦你们再选一处看看吧。”
