西晋泰始五年，羊祜以都督荆州诸军事的身份出镇襄阳，彼时晋吴两国在荆襄边境对峙多年，战火连年不断，边境百姓流离失所，双方的守军积怨极深。这位以战略家身份坐镇边地的西晋重臣，没有一到任就整军备战、挑起战事，反而以“以德怀柔”的全新方略，在江汉大地上开启了一段战争史上罕见的信义安边佳话。
初到荆州时，西晋这边的军粮连百日都支撑不到，边境的土地大半荒芜，逃亡的流民不敢回乡。羊祜第一件事就是裁撤了一半巡逻戍守的士兵，让这些放下兵器的士卒拿起农具，在襄阳城外的千亩荒地上推行军屯。短短数年时间，荆州的军粮积蓄就达到了可供十年之用，百姓们听说边境不再有劫掠冲突，拖家带口从各处返回故土，羊祜又下令给返乡流民免除三年赋税，原本凋敝的荆襄边境，很快就恢复了生机。
在和东吴的边境交往上，羊祜彻底摒弃了此前两国边将惯用的诡诈挑衅手段。他严令部下，凡是和东吴约定好日期的交战，绝对不许搞突然袭击，不许用阴谋诡计取胜。有部下在边境抓了两个东吴的牧童送回营中，羊祜得知之后，立刻派人把孩子安全送回东吴家中；东吴的两位将军陈尚、潘景率军越境进犯，羊祜派兵追击将二人斩杀，却赞赏他们为国尽忠的气节，以隆重的军礼为二人举办丧事，允许他们的家属前来迎丧，全程以礼相待。
晋军的战马偶尔跑到东吴境内的农田里啃食庄稼，羊祜一定会要求士兵记下马匹啃食的庄稼数量，送去等值的绢布作为补偿；每次晋军在江汉一带围猎，绝对不许军队越过边境线，要是遇到被东吴人射伤、却被晋兵捡到的飞禽走兽，一定会原封不动送还给东吴的边民。时间一长，东吴边境的百姓对羊祜心悦诚服，所有人都尊称他为“羊公”，再也不肯直呼他的名字。
当时东吴坐镇荆州的主帅是名将陆抗，他和羊祜在边境对峙多年，二人之间留下了一段被后世传为美谈的“羊陆之交”。陆抗生病的时候，羊祜派人专门给他送去对症的汤药，东吴的部下都担心药里有毒，劝陆抗不要服用，陆抗却坦然说“羊祜岂是下毒害人的人”，当着使者的面把药全部服下。陆抗常常告诫自己的部下：羊祜一直在行仁德之事，我们这边却只靠严苛的政令维持，不用交战，人心早就被对方收服了，我们只需要守住边境秩序，不要去追求小利挑起冲突就好。
在羊祜的仁德怀柔之下，晋吴两国的荆襄边境维持了很长一段难得的和平时期，两边的百姓互通往来、边境安定，东吴的军民不断有人主动渡江前来归降，羊祜从来不加阻拦，愿意留下的给田给粮，想要返回东吴的也赠银放行。他坐镇荆州的七年间，没有靠大规模的杀戮开疆拓土，却靠着信义与仁德，一点点磨平了东吴军民的抵抗意志，为后来西晋的灭吴统一，打下了最坚实的人心根基。
羊祜去世之后，襄阳的百姓在岘山之上为他立了一座碑，路过的人看到石碑无不落泪，这座碑也被后世称为“堕泪碑”。直到千百年之后，路过江汉的文人墨客，依旧会为这段“以德化敌”的传奇边事写下诗文，这份不靠兵戈、靠信义仁德赢得人心的安边智慧，也成了中国古代边镇治理史上最被推崇的典范。