1940年4月，日寇抽调10多万兵力，向襄阳、南阳一带猛攻，张将军部遇敌主力于方家集。5月16日日寇陷张将军部于重围，张将军率部浴血奋战，中午张将军左臂中弹，仍继续指挥战斗，下午4时，张将军腰、腹部又中机枪弹数发。临终前，张将军告诉左右说：“吾力战死，自审对国家、对民族、对个人都可告无愧”。张将军在寝樊宜城南瓜店壮烈殉国，时年49岁。
张自忠殉国当日，由38师师长黄维刚带领敢死队，端着轻机枪于16日夜间突袭南瓜店，奋勇抢回了张自忠的遗骸。黄师长光着膀子，穿着裤衩，带着弟兄们光着脚丫顶着鬼子的炮弹朝前冲，几进几出终于抢回了张军长的遗体。
随后，张自忠遗体被运往当时陪首都重庆安葬。路经宜昌时，十万军民恭送灵柩至江岸，其间日机三次飞临宜昌上空，但祭奠的群众无一退却。最后，日本飞机一弹未投，盘旋而去。据说，张自忠战死后，日本人向他行礼，甚至在他的遗体运回后方之时，日军收到消息便下令停止空袭一日，避免伤到张自忠的忠骸。
1940年5月28日晨，张自忠的遗骸运至重庆。蒋介石率军政大员，臂缀黑纱，肃立迎灵，并登灵船吊祭；市民前往者更络绎不绝。1942年，冯玉祥仿效明代末年史可法墓葬扬州梅花岭之意，将雨台山改名为梅花山，并用薪金购梅花树植于将军墓侧。
1940年8月15日，延安各界人士举行张自忠将军追悼大会。毛泽东为张自忠题词：“精忠报国”。周恩来曾撰文赞张自忠“其忠义之志，壮烈之气，直可以为中国抗战军人之魂”。1982年，中华人民共和国民政部追认张自忠为革命烈士。张自忠烈士墓也被扩建为张自忠烈士陵园，并于1986年10月由民政部批准为第一批全国重点烈士纪念建筑物保护单位。北京、天津、武汉等大城市相继恢复了“张自忠路”的名称，以示对这位抗日烈士的永远纪念。
