甘祖昌功成身退以后，依然保持着艰苦朴素的优良传统。他自己种菜自己吃，每件衣服至少穿10年。衣服破了就补，补好再穿，实在不能补了就拿去做鞋底。群众称他的形象是：一身补丁打赤脚，一根烟斗没有嘴，白罗布手巾肩上搭，走路笔挺快如风。
粉碎“四人帮”以后，甘祖昌当选为第五届全国人民代表大会代表和全国人大常委会委员。
甘祖昌回乡29年，一直坚持与疾病做顽强的斗争。他对付脑震荡后遗症的办法不是“营养疗法”，也不是卧床休息，而是夏天光着头让烈日晒，冬天让北风吹。经过十几个寒暑的锻炼，脑子里淤血消散，脑震荡后遗症竟奇迹般地痊愈了。但与此同时，支气管炎和肺气肿却逐年加重。1970年夏天发作过一次，病情危重。经过组织上一再动员，他才去上海检查治疗，但半月后病情稍好又要求出院回乡。他说：“我是慢性病，在上海占个床位太不应该了！”1980年冬，他又突然患前列腺肥大症，尿道感染，经省医院转至上海华东医院治疗。第六天炎症消失病情好转，第八天他就乘火车出院回莲花了。1985年10月，甘祖吕旧病复发，莲花县医院立即组织抢救。住院期间，新疆军区首长和全体指战员派人来慰问，提出为甘祖昌在南昌盖房子，让他到南昌定居，甘祖昌摇摇头说：“感谢组织上和同志们对我的关心，我已经80岁了，还盖房子干什么？为国家节省点开支吧。”
1986年春节过后，甘祖昌病危。在弥留之际，他嘴里仍在断断续续地说：“领了工资……留下生活费……其余全部买化肥农药，支援农业……我不要房子，不要给我盖房子……”
1986年2月25日，甘祖昌这位为中国革命事业奋斗一生的老战士，停止了呼吸，走完了他从农民到将军、又从将军到农民的全部战斗历程。本文摘自：《党史纵览》2010年第7期，作者：小小，原题：《甘祖昌：从将军到农民》
