司马炎即位之后，面临着严重的内忧外患，为了巩固政权，进而完成吞并东吴、统一全国、解除内忧外患的局面。司马炎对内加强集权，强化统治，对外借刀杀人，巧妙安抚，从而一统天下。
唐朝著名诗人孟浩然在《与诸子登岘山》诗中，对羊祜这位杰出的政治家、军事家进行了热情赞颂：
人事有代谢，往来成古今。
江山留胜迹，我辈复登临。
水落鱼梁浅，天寒梦泽深。
羊公碑尚在，读罢泪沾襟。
晋泰始五年（公元269年），司马炎策划灭吴，因此选择好的将领，开始进行军事部署。他任命大将军卫瓘、司马仙分镇临淄、下邳，命羊祜为荆州诸军都督、假节，并保留他散骑常侍、卫将军原官不变。荆州是战略要地，晋、吴的边界线以荆州为最长，因此此地经常发生战争。
羊祜刚到襄阳时，军中没有百日之粮的积蓄。羊祜从长远利益着想，没有马上投入兵力与吴人争城掠地，而是组织人力大量垦荒种粮，还在五个形势险要的地方建立城堡，防止吴军袭击，尽可能多地控制上等土地，使晋军的粮食积蓄越来越多，足可支付十年之需。
羊祜对吴人主要采取怀柔策略，尽量争取人心。他从不搞欺诈及袭击行为，即使与吴人交战，也是堂堂正正地与对方约定作战时间，届时才开战。对战俘予以优待，对敌方阵亡者为之殡敛。曾有部将抓到两个儿童，羊祜将他们送回他们父母身边。后来这两个儿童的父亲带领自己的部众前来归顺了，吴将邓香攻掠夏口（汉水与长江交汇处），被晋军活捉，羊祜没有处死他，反而放他回去。邓香深为感动，也带自己的人投降了。吴将陈尚、潘景在人晋地侵扰时被杀，羊祜厚加殡敛，并让其家属来迎丧，还以礼相送。晋军攻入吴境，如果收割了吴人的稻谷作军粮，羊祜也命令按收割量的多少计价，用绢匹偿还。诸如此类的事情使羊祜赢得了吴人的敬重，人们提起他，不说名字，而称“羊公”。
坐镇乐乡（湖北江陵东）的东吴大将陆抗深知羊祜对吴人施以仁德影响的厉害，一再告诫部下：“对方专行仁德，我们专行暴虐，则我军最终会不战自败。今后我们不要为锱铢小利而出兵骚扰，只要保住疆土完整无缺即可。”从此，双方战事大大减少，各不相犯，牛马跑入对方境内，只要向对方打个招呼即可取回；狩猎时，如果发现抓获的动物先被对方打伤，也将它送归对方。羊祜与陆抗之间也彼此不猜疑，陆抗曾送酒给羊祜，羊祜毫不怀疑地喝了起来；陆抗有病，羊祜派人送去上等好药，有人劝陆抗要小心谨慎，别上对方的当，陆抗则说：“羊祜岂是用毒药害人的小人！”吴主孙皓得知两国在荆州相互友好，大为不满，特派人前去责问陆抗。陆抗答复说：“我不这样做，显得我方穷兵黩武，使对方的仁德更加深入人心，于国家有害无益。”
泰始八年（公元272年）八月，发生了西陵之战，结果大家都知道了，羊祜因此被贬为平南将军，杨肇则被贬为平民。西陵之战失败后，羊祜总结了失败的原因：陆抗在这场战争中发挥了重要的作用，对晋国绝对是个威胁。吴主孙皓虽然荒淫无度，但吴国仍有一定的实力，灭吴之战不可能一蹴而就。因此他一方面对吴国采取军事进攻，一方面则实行怀柔政策，进行分化，等待恰当的时机。
羊祜此入网怔不阿为官清廉、正直，疾恶如仇，因此在朝中也得罪了不少人，像荀勖、冯紞等人就忌恨他。羊祜不喜欢他的堂甥王衍，因为他说话言辞华丽，雄辩滔滔。羊祜曾对人说：“王夷甫方以盛名处大位，然败俗伤化，必此人也。”还有王戎，西陵之战时，羊祜曾要处斩他，由于有人求情才没有实行。王戎、王衍都把这些记在心里，常常在言语上攻击他。当时有“二王当国，羊公无德”的说法。
晋咸宁二年（公元276年）十月，晋武帝恢复羊祜之前的职务，任命他为征南大将军。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙。”羊祜听后，说：“此必水军有功，但当思应其名者耳。”（《晋书·羊祜传》）王溶小字“阿童”，有才能，羊祜认为王溶可担当重任，于是把他选为自己的继承人。
咸宁四年（公元278年）十一月，羊祜带着未能亲眼目睹吴国灭亡的遗憾，抱病而终。临终前，还向武帝面陈伐吴之计，并把尽快伐吴的希望寄托在中书令张华身上，说：“你一定要完成我的宿愿啊！”另外，他荐举了同样力主出兵吴国的杜预接任自己的职务，去都督荆州。因此，两年后东吴被平定时，晋武帝感慨地说：“此羊太傅之功也。”
