西陵救援失利后，羊祜总结教训认识到：吴国的国势虽已衰退，但仍有一定的实力，特别是荆州尚有陆抗这样的优秀将领主持军事，平吴战争不宜操之过急。于是，他采取军事蚕食和提倡信义的两面策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。鉴于历史上孟献子经营武牢而郑人畏惧，晏弱筑城东阳而莱子降服的经验，羊祜挥兵挺进，占据了荆州以东的战略要地，先后建立五座城池。并以此为依托，占据肥沃土地，夺取吴人资财。于是，石城以西均晋国占有，吴人来降者源源不绝。
羊祜于是实施怀柔、攻心之计。在荆州边界，羊祜对吴国的百姓与军队讲究信义，每次和吴人交战，羊祜羊祜都预先与对方商定交战的时间，从不搞突然袭击。对于主张偷袭的部将，羊祜用酒将他们灌醉，不许他们再说。有部下在边界抓到吴军两位将领的孩子。羊祜知道后，马上命令将孩子送回。后来，吴将夏详、邵颉等前来归降，那两位少年的父亲也率其部属一起来降。吴将陈尚、潘景进犯，羊祜将二人追杀，然后，嘉赏他们死节而厚礼殡殓。两家子弟前来迎丧，羊祜以礼送还。吴将邓香进犯夏口，羊祜悬赏将他活捉，抓来后，又把他放回。邓香感恩，率其部属归降。羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，但每次都要根据收割数量用绢偿还。打猎的时候，羊祜约束部下，不许超越边界线。如有禽兽先被吴国人所伤而后被晋兵获得，他都送还对方。羊祜这些作法，使吴人心悦诚服，十分尊重他，不称呼他的名字，只称“羊公”。
对于羊祜的这些作法，陆抗心中很清楚，所以常告诫将士们说：“彼专为德，我专为暴，是不战而自服也。各保分界而已，无求细利”(《晋书·羊祜传》)。因此，在很长的一段时间里，晋吴两国的荆州边线处于和平状态。
羊祜与陆抗对垒，双方常有使者往还。陆抗称赞羊祜的德行度量，“虽乐毅、诸葛孔明不能过也”(《晋书·羊祜传》)。一次陆抗生病，向羊祜求药，羊祜马上派人把药送过来，并说：“这是我最近自己配制的药，还未服，听说您病了，就先送给您吃。”吴将怕其中有诈，劝陆抗勿服，陆抗不疑，并说：“羊祜岂鸩人者”(《晋书·羊祜传》)!仰而服下。当时人都说，这可能是春秋时华元、子反重见了。
吴主孙皓听到陆抗在边境的做法，很不理解;就派人斥责他。陆抗回答：“一邑一乡，不可以无信义，况大国乎!臣不如此，正是彰其德，于祜无伤也”(《晋书·羊祜传》)。孙皓无言以对。 羊祜在边境，德名素著，可在朝中，却每遭诋毁。他正直忠贞，嫉恶如仇，毫无私念，因而颇受荀勖、冯紞等人忌恨。王衍是他的堂甥，曾来见他陈说事情，言辞华丽，雄辩滔滔。羊祜很不以为然，王衍拂衣而去。羊祜对宾客说：“王夷甫方以盛名处大位，然败俗伤化，必此人也”(《晋书·羊祜传》)。西陵之战，羊祜曾要按军法处斩王戎。所以，王戎、王衍都怨恨他，言谈中常常攻击他。当时人说：“二王当国，羊公无德”(《晋书·羊祜传》)。 咸宁二年(276年)十月，晋武帝改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当初羊祜便认为，要想伐吴，必须凭借长江上游的有利地势。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙”(《晋书·羊祜传》)。羊祜听后，说：“此必水军有功，但当思应其名者耳”(《晋书·羊祜传》)。正逢益州刺史王浚被征召任大司农。羊祜发现王浚的才能可当重任，而王浚的小字又是“阿童”，正应了童谣之言。而当时在西晋朝廷内部，王浚是个有争议的人物。羊祜极力肯定王浚的军事才能，主张济其所欲，充分发挥他的才能。羊祜的密表，终于使晋武帝改变将王浚调离益州的打算。留王浚监益州诸军事，加龙骧将军。秘密命他修造战船，为顺流伐吴作准备。在后来的灭吴战争中，不出羊祜所料，王浚统率的益州水军起了重要作用，成为首先攻陷建邺、生擒孙皓的西晋军队。 羊祜本人也命令部将缮甲训卒，广为戎备。经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过吴军，恰巧两年前，吴军主帅陆抗病死，孙吴荆州前线失去唯一能与羊祜抗衡的军事家。而这时，在孙皓高压统治下的吴国境内各种矛盾日益激化，将疑于朝，士困于野，民怨鼎沸，危机四伏。这一切表明西晋灭吴的条件已经成熟。羊祜不失时机地上疏给晋武帝请求伐吴。这篇奏疏，是一篇重要的文献，至今仍有很高的价值。原文如下： “先帝顺天应时，西平巴蜀，南和吴会，海内得以休息，兆庶有乐安之心。而吴复背信，使边事更兴。夫期运虽天所授，而功业必由人而成，不一大举扫灭，则众役无时得安。亦所以隆先帝之勋，成无为之化也。故尧有丹水之伐，舜有三苗之征，咸以宁静宇宙，戢兵和众者也。蜀平之时，天下皆谓吴当并亡，自此来十三年，是谓一周，平定之期复在今日矣。议者常言吴楚有道后服，无礼先强，此乃谓侯之时耳。当今一统，不得与古同谕。夫适道之论，皆未应权，是故谋之虽多，而决之欲独。凡以险阻得存者，谓所敌者同，力足自固。苟其轻重不齐，强弱异势，则智士不能谋，而险阻不可保也。蜀之为国，非不险也，高山寻云霓，深谷肆无景，束马悬车，然后得济，皆言一夫荷戟，千人莫当。及进兵之日，曾无籓篱之限，斩将搴旗，伏尸数万，乘胜席卷，径至成都，汉中诸城，皆鸟栖而不敢出。非皆无战心，诚力不足相抗。至刘禅降服，诸营堡者索然俱散。今江淮之难，不过剑阁;山川之险，不过岷汉;孙皓之暴，侈于刘禅;吴人之困，甚于巴蜀。而大晋兵众，多于前世;资储器械，盛于往时;今不于此平吴，而更阻兵相守，征夫苦役，日寻干戈，经历盛衰，不可长久，宜当时定，以一四海。今若引梁益之兵水陆俱下，荆楚之众进临江陵，平南、豫州，直指夏口，徐、扬、青、兖并向秣陵，鼓旆以疑之，多方以误之，以一隅之吴，当天下之众，势分形散，所备皆急，巴汉奇兵出其空虚，一处倾坏，则上下震荡。吴缘江为国，无有内外，东西数千里，以籓篱自持，所敌者大，无有宁息。孙皓孙恣情任意，与下多忌，名臣重将不复自信，是以孙秀之徒皆畏逼而至。将疑于朝，士困于野，无有保世之计，一定之心。平常之日，犹怀去就，兵临之际，必有应者，终不能齐力致死，已可知也。其俗急速，不能持久，弓弩戟盾不如中国，唯有水战是其所便。一入其境，则长江非复所固，还保城池，则去长入短。而官军悬进，人有致节之志，吴人战于其内，有凭城之心。如此，军不逾时，克可必矣”(《晋书·羊祜传》)。 在上疏中，羊祜追述平蜀之后的南北两国关系。指出，双方边战屡起，根本的原因是吴国的弃信背义。只有发动大规模的战争扫灭吴国，才能天下太平，永无兵役。他反对以春秋诸侯争霸的观点类比晋吴关系，劝告晋武帝在广泛听取臣下意见的同时，要有自己的独立见解。羊祜以蜀亡为例，说明两国交战，只有势均力敌，自然环境的险阻才能起作用。如果轻重不齐，强弱异势，光凭山水险阻，无济于事。他分析说，吴国的地理条件远不如蜀国，“江淮之难，不过剑阁，山川之险，不过岷汉”，而危机却十分严重，“孙皓之暴，侈于刘禅;吴人之困，甚于巴蜀”。在西晋方面，无论军队的数量，还是资储器械，都大比灭蜀的时候丰足。但如果不抓著这个大好的时机，军事优势就会在日常的消耗中丧失。羊祜详细地为未来战争进行了规划，建议“梁、益(今四川、陕西地区)之兵，水陆俱下;荆楚之众，进临江陵;平南、豫州(指在今湖北东北、河南西南一带的晋军)，直指夏口(今湖北武汉);徐、扬、青、兖(指今皖北、苏北一带的晋军)，并向秣陵(今江苏南京)”。几路大军，同时进击，吴军势分形散，根本无法对抗。孙吴国内人心思乱，兵临之际，绝不会出现奋力死战的局面。吴人长于水战，短于陆战。一旦晋军攻破长江，吴人只能退保城池，去长入短，自就死地。羊祜估计，整个灭吴战争不用很长的时间，就会获得胜利。 奏疏既上，晋武帝深以为然，但却遭到朝内许多大臣的反对，权臣贾充、荀勖等人的态度尤其激烈。他们提出西北地区的鲜卑人骚乱问题，认为那里尚未平定，不应该同时进行灭吴战争。只有度支尚书杜预、中书令张华等少数人赞同。 刚好晋兵在秦州、凉州屡有败绩，羊祜遂再次上表说：“吴平则胡自定，但当速济大功耳”(《晋书·羊祜传》)。但仍然持反对意见的人多，羊祜见此事难成，仰天叹曰：“天下不如意，恒十居七八，故有当断不断。天与不取，岂非更事者恨于后时哉”(《晋书·羊祜传》)! 咸宁三年(277年)，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵对孙慎进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。羊祜回答说江夏去襄阳八百里，比知贼问，贼去亦已经日矣。步军方往，安能救之哉!劳师以免责，恐非事宜也。昔魏武帝置都督，类皆与州相近，以兵势好合恶离。疆埸之间，一彼一此，慎守而已，古之善教也。若辄徙州，贼出无常，亦未知州之所宜据也”(《晋书·羊祜传》)。使臣无言可答。 后来，晋武帝下诏以泰山的南武阳、牟、南城、梁父、平阳五县为南城郡，封羊祜为南城侯，设置相的官职，与郡公同级。羊祜坚辞不受，说：“昔张良请受留万户，汉祖不夺其志。臣受钜平于先帝，敢辱重爵，以速官谤”(《晋书·羊祜传》)!晋武帝只好同意。羊祜每次晋升，都十分诚恳地退让，因此，名德远播，朝野尊仰，士大夫们都说他应该居于宰辅之位。晋武帝当时正有兼并之志，要依仗羊祜来主持东南的局面，所以搁置了请他入相之议。 羊祜曾在两朝任职，掌握著机要之权，朝廷政治事件的斟酌损益，都要征询他的意见，他从不钻营谋求权势利禄，他的好多嘉谋谠议，草稿都焚毁了，因而世无知者。他所推举荐拔的人，连本人都不知是谁荐举的。有人批评羊祜过于慎密。羊祜说：“是何言欤!夫入则造膝，出则诡辞，君臣不密之诫，吾惟惧其不及。不能举贤取异，岂得不愧知人之难哉!且拜爵公朝，谢恩私门，吾所不取”(《晋书·羊祜传》)。 羊祜的女婿曾劝他“有所营置，令有归戴者，可不美乎”(《晋书·羊祜传》)?羊祜默然不应。回来后对自己的儿子们说：“此可谓知其一不知其二。人臣树私则背公，是大惑也。汝宜识吾此意”(《晋书·羊祜传》)。羊祜还曾给堂弟羊琇写信，信中说：“既定边事，当角巾东路，归故里，为容棺之墟。以白士而居重位，何能不以盛满受责乎!疏广是吾师也”(《晋书·羊祜传》)。 朝廷准许羊祜开府(古代高级官员成立府署，选置僚属)多年，但羊祜心存谦让，不肯征召举用僚属。 羊祜生性喜爱山水，每逢风景佳丽之日，一定要登上岘山，置酒观赏，吟咏品玩，终日不倦。有一次，他面对山仲美景，慨然叹息，对从事中郎邹湛等人说：“自有宇宙，便有此山。由来贤达胜士，登此远望，如我与卿者多矣!皆湮灭无闻，使人悲伤。如百岁后有知，魂魄犹应登此也 。”邹湛说：“公德冠四海，道嗣前哲，令闻令望，必与此山俱传。至若湛辈，乃当如公言耳”(《晋书·羊祜传》)。 咸宁四年(277年)八月，羊祜身染重病，请求入朝，朝廷批准后，他返回洛阳。正值其姐景献羊后去世，羊祜十分悲痛。晋武帝下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。见到晋武帝，他抱病再一次向武帝陈述伐吴主张。 后来，羊祜因病势沉重，不能入朝，晋武帝专门派中书令张华前去咨询方略。羊祜说：“今主上有禅代之美，而功德未著。吴人虐政已甚，可不战而克。混一六合，以兴文教，则主齐尧舜，臣同稷契，为百代之盛轨。如舍之，若孙皓不幸而没，吴人更立令主，虽百万之众，长江未可而越也，将为后患乎!”张华赞成羊祜的看法。羊祜对张华说：“成吾志者，子也”(《晋书·羊祜传》)。 看到羊祜的病势继续恶化，晋武帝开始著急，要求羊祜带病指挥这场战争。羊祜回答说：“取吴不必须臣自行，但既平之后，当劳圣虑耳。功名之际，臣所不敢居。若事了，当有所付授，愿审择其人”(《晋书·羊祜传》)。 羊祜的病越来越重，于是便推荐杜预代替自己。羊祜没有看错人，在后来的灭吴战争中，杜预发挥了重要的作用。不久，羊祜病逝，享年五十八。时为咸宁四年(278年)十一月。 羊祜死后，普天皆哀。晋武帝亲著丧服痛哭，时值大寒，武帝的泪水流到鬓须上，都结了冰。荆州百姓在集市之日，闻知羊祜死讯，罢市痛哭，街巷悲声相属，连绵不断;吴国守边将士也为羊祜落泪。羊祜的仁德，可谓感天动地。
晋武帝赐与东园秘器，朝月艮一套，丧钱三十万，布一百匹。并下诏：“征南大将军南城侯祜，蹈德冲素，思心清远。始在内职，值登大命，乃心笃诚，左右王事，入综机密，出统方岳。当终显烈，永辅朕躬，而奄忽殂陨，悼之伤怀。其追赠侍中、太傅，持节如故”(《晋书·羊祜传》)。 羊祜一生清廉俭朴，衣被都用素布，所得俸禄，都用来周济族人、赏赐将士，因而家无余财。羊祜临终遗言，不许把南阳侯印放入棺内。堂弟羊琇等禀承羊祜的夙愿，请求把他葬在祖先的墓地。武帝不同意，特赐离京城十里外靠近皇陵的葬地一顷，并赐谥号曰“成”。羊祜送葬队伍出发，武帝到大司马门南亲为送行。 羊祜的外甥司马攸上表，陈说羊祜的妻子不愿按侯爵级别殓葬之情。武帝下诏：“祜固让历年，志不可夺。身没让存，遗操益厉，此夷叔所以称贤，季子所以全节也。今听复本封，以彰高美”(《晋书·羊祜传》)。 羊祜虽然死了，他的仁德之名仍留于后世。襄阳百姓为纪念他，特地在羊祜生前喜欢游憩的岘山，刻下石碑，建起庙宇，按著时节进行祭祀。由于人们一看见石碑就要落泪，杜预因此称之为“堕泪碑”。荆州人为了避羊祜的名讳，把房屋的“户”都改叫“门”，把户曹也改为辞曹。 羊祜生前的著述，除《晋书·羊祜传》记载的《老子传》外，《隋节·经籍志》又收录有《集》二卷，《录》一卷，今皆不存。 羊祜死后二年，晋灭吴国。群臣向晋武帝祝贺，武帝流著眼泪说：“此羊太傅之功也”(《晋书·羊祜传》)。接著，将平定吴国之功写成策文，祭告于羊祜庙，并按汉代萧何旧例，加封羊祜夫人，策文说：“皇帝使谒者杜宏告故侍中、太傅钜平成侯祜：昔吴为不恭，负险称号，郊境不辟，多历年所。祜受任南夏，思静其难，外扬王化，内经庙略，著德推诚，江汉归心，举有成资，谋有全策。昊天不吊，所志不卒，朕用悼恨于厥心。乃班命群帅，致天之讨，兵不逾时，一征而灭，畴昔之规，若合符契。夫赏不失劳，国有彝典，宜增启土宇，以崇前命，而重违公高让之素。今封夫人夏侯氏万岁乡君，食邑五千户，又赐帛万匹，谷万斛”(《晋书·羊祜传》)。 据说羊祜五岁时，突然叫乳母去拿他玩的金环。乳母说：“汝先无此物。”羊祜便自己走到邻居李家东墙下桑树中找出了一枚金环。主人惊诧，说：“此吾亡儿所失物也，云何持去!”乳母具体叙述了事情原委，李氏十分悲痛。当时人们认为，李氏的儿子是羊祜的前身。另外，据说有一个善于相看墓地的人，说羊祜祖墓所在有帝王气，如果挖掘了，便没有后代。羊祜就去挖掘。看相的人发现了，又说：“犹出折臂三公”(《晋书·羊祜传》)。后来，羊祜果然落马折臂，也果然位至三公却没有儿子。当然这些都是传闻造作之言，不足为信。 点评：晋灭吴的战争是中国历史上一次重要的战争。它结束了汉末、三国以来分裂割据的状态，使中国重归一统。羊祜是西晋灭吴的关键人物，他在坐镇襄阳6年期间，做了伐吴的一系列准备工作，卓有成效。虽然失去亲自参加战争的机会，但他制订了正确的灭吴用兵方略，可以说他在灭吴功绩中居于首位，为战争的顺利进行作出了不可磨灭的贡献。同时他善于从政，在朝中掌管机要时，晋武帝对政事根益，皆咨访他，达官贵人几“势利之求”(《晋书·羊祜传》)，都遭到他的拒绝。羊祜的军政业绩，为朝野所称颂。建阳百姓为其建碑立庙，岁时祭奠，以表怀念。 《晋书·羊祜传》对其评价如下：泰始之际，人只呈贶，羊公起平吴之策，其见天地之心焉。昔齐有黔夫，燕人祭北门之鬼;赵有李牧，秦王罢东并之势。桑枝不竞，瓜润空惭。垂大信于南服，倾吴人于汉渚，江衢如砥，襁袂同归。而在乎成功弗居，幅巾穷巷，落落焉其有风飙者也。
