刘裕是南朝刘宋的开国君主，但早期他是为晋效力的。刘裕击败孙恩领导的起义，之后又打败桓玄，收复淮北十二郡，被赞有“匡复之功”。
孙恩起兵，消耗了晋廷兵力，造成京防空虚，这给盘踞长江上游军事重镇荆州、虎视三吴的桓玄以可乘之机。元兴元年（402年），骠骑大将军司马元显率军西讨桓玄，桓玄也率荆楚大军南攻司马元显。司马元显派刘牢之抵御，刘裕也随军前往。
刘牢之率部到达溧州（今江苏溧阳）时，遭遇桓玄所部，刘裕请求发起攻击，未得同意。刘牢之打算派刘敬宣到桓玄营中讲和，遭到刘裕与刘牢之的外甥何无忌联袂坚决谏阻，刘牢之不听。
桓玄攻入建康，杀司马元显，收夺刘牢之兵权，以其堂兄桓修代之。刘牢之惧祸而逃，后自缢身亡。刘裕审时度势，暂投桓玄以行韬晦。由于刘裕屡建军功，于北府旧部中颇有声望，故桓玄也不敢小视他，任命他为中兵参军。
元兴二年（403年）初，孙恩的妹夫卢循再次起事。五月，桓玄派刘裕讨伐，杀其大帅张士道。卢循渡海南逃，刘裕因功被加封为彭城内史。十二月，桓玄篡位，对司徒王谧说：“昨日看见刘裕，气度不凡，是人中豪杰。”于是更对刘裕款待备至，恩宠有加。
桓玄的妻子刘氏颇能识人，她多次劝桓玄除掉刘裕，但桓玄却以要借刘裕荡平中原为由拒绝。同时，桓玄称帝后为消除隐患，欲瓦解北府兵，大力剿杀北府兵旧将，北府军几乎遭到灭顶之灾。正在桓玄盘算之际，刘裕也在暗中和北府兵残余兵将联络，伺机反攻桓玄。
元兴三年（404年）二月，刘裕以打猎为名，聚集北府兵残余兵将一千七百余人，在京口举兵起义，歼灭了桓楚在此的兵力，杀死桓修。接着，众人推刘裕为盟主，传檄四方，各地纷起响应。桓玄自从获悉刘裕率众起义后，成天忧心忡忡，想不出对策。
有人说：“刘裕等力量弱小，哪里具备成气候的力量，陛下何必担忧呢？”桓玄回答说：“刘裕堪称当代雄才；刘毅家无多少储蓄，却像掷骰子一样捐出百万；何无忌，刘牢之的外甥，很像他舅舅。他们联合起来，共举大事，怎能说他们不会成功呢？”
桓玄先派手下猛将吴甫之及皇甫敷带领精兵抵抗刘裕，刘裕先于江乘杀吴甫之，至江乘以南的罗落桥时奋力作战，又杀皇甫敷，继续进攻。三月，刘裕进攻覆舟山，并命弱兵登山，持着旗帜分道而行，营造四周皆有士兵，数量很多的假象；而又因桓玄守军大多是北府军出身，面对刘裕都没有斗志，刘裕于是与诸军进攻，顺利以火攻击溃桓玄守军，而桓玄亦弃城西逃。
三月，刘裕获王谧等人推举，出任使持节、镇军将军、徐州刺史，都督扬、徐、兖、豫、青、冀、幽、并八州诸军事。不久后，又奉武陵王司马遵承制，总领百官行事。东晋末年，政局混乱，百官放纵，百业废弛，刘裕以身示范，先以威严约束宫廷内外，百官都认真供职，在二三日内，朝廷风气为之大变。
刘裕在进建康城后，派诸将追斩桓玄，晋安帝在江陵复位。然而，桓氏势力仍在荆州盘据，并反攻江陵，直至义熙元年（405年），晋军才再收复江陵，驱逐当地桓氏势力，并迎安帝返回建康。不久，刘裕还镇丹徒。
义熙元年（405年），刘裕遣使到后秦，要求后秦归还之前占领的南乡、顺阳、新野、舞阴等淮北诸郡，后秦皇帝姚兴或鉴于西面战事吃紧，不想再在东面与刘裕为敌，于是答应将淮北十二郡全部归还。
义熙二年（406年）十月，刘裕因“匡复之功”，受封为豫章郡公，食邑万户，获赏绢三万匹。僚佐规格只比原太傅谢安府低一等。义熙四年（407年）正月，因王谧去世，刘裕听从幕僚刘穆之劝言，入朝商议继任人选。最终获授侍中、车骑将军、开府仪同三司、扬州刺史、录尚书事、徐兖二州刺史，入掌朝政大权。