桓玄是晋大司马桓温之子，袭父爵为南郡公，后为义兴太守。后来他发动叛乱，刘裕以少胜多，仅花三月就拿下桓玄。
元兴三年(404年)二月，刘裕随徐、兖二州刺史，安成王桓修入朝。桓玄以为用这种怀柔政策可以打消刘裕的不满情绪，但刘裕却暗中作了大量准备工作，加紧了起兵的步伐。
不久，刘裕以旧伤复发为由，与何无忌同船而回，密谋兴复晋室。于是刘裕与其弟刘道规、何无忌、沛郡人刘毅、平昌人孟昶、任城人魏咏之、高平人檀凭之、琅邪人诸葛长民、太原人王元德、陇西人辛扈兴、东莞人童厚之等共同谋划起兵。时桓修弟桓弘为征虏将军、青州刺史，镇守广陵，刘道规为桓弘中兵参军，孟昶为主簿。
刘裕暗中派刘毅至江北，起兵后与二人共杀桓弘；诸葛长民为豫州刺史刁逵左军府参军，刘裕令其杀刁逵，占据历阳；王元德、辛扈兴和童厚之则在京城活动，以为内应。是月，刘裕以游猎为由，与何无忌等人相聚，共有百余人。第二天清晨，京口(今江苏镇江)城开，刘裕与何无忌等袭杀桓修。
刘裕以孟昶镇守京口，自率部众1700余人，进驻竹里(今江苏句容北)。刘裕部初克建康时，桓修司马刁弘率文武佐吏前来救援。刁弘被刘裕唬住，只好收众而退。不久刘毅率部众赶到，刘裕急命他杀了刁弘。刘毅的兄弟刘迈原来也在建康。刘裕起兵讨桓玄后，曾派遣同谋周安穆前去通报刘迈，要他为内应。刘迈为人胆小怕事，他表面敷衍周安穆，内心却不敢应允。周安穆看破了他的心事，心中懊悔，害怕事情会因此泄露，于是急忙赶回报告刘裕。这时，桓玄任命刘迈为竟陵太守。刘迈不知如何是好，准备船只走马赴任。
刘迈阅信后惊恐万分，以为桓玄已经知道刘裕的阴谋了。第二天一早就把事情全盘托出。桓玄大惊，封刘迈为重安侯，既而一想，刘迈不抓住周安穆，使周安穆得以逃出，于是又把刘迈给杀死。桓玄以扬州刺史桓谦为征讨大都督(参见覆舟山之战)。桓谦等主张迎击刘裕，桓玄则认为不然。
三月，刘裕与吴甫之在江乘(今江苏句容北)遭遇。吴甫之是桓玄骁将，其兵甚锐。刘裕手执长刀，大呼而冲，所向披靡，斩吴甫之。刘裕追至罗落桥(今南京东北)。皇甫敷率数千人迎战刘裕，宁远将军檀凭之与刘裕各率一部，檀凭之战死，其众溃退。而刘裕则进战弥厉，奋勇无比，斩皇甫敷。
桓玄闻二将战死，大惧，再遣桓谦及游击将军何澹之屯兵东陵(覆舟山东北)，侍中、后将军卞范之驻军覆舟山以西，合计兵力二万人。刘裕令部队饱食后，弃余粮，轻装进至覆舟山以东，派老弱登山，张旗帜为疑兵，迷惑桓玄。桓玄急调武卫将军庾赜之率精兵出援各军。
桓玄已无意再战，率其子侄乘船沿江南下。刘裕率军进入建康(今南京)，并遣诸将追击桓玄。刘裕入建康后，屯石头城，立留台官，焚桓温神主于宣阳门外，重立晋新主在太庙中，以示自己是东晋的救世主。并诛杀桓氏宗族。桓玄司徒王谧与众人推刘裕领扬州，刘裕心不在此，辞不肯受。
五月，与桓玄遭遇于峥嵘洲(今湖北黄冈西北)，刘毅等以少击众，又因风纵火，击败桓玄主力，其余部溃不成军，夜烧辎重而逃。