东晋太元二年，前秦苻坚统一北方全境，百万大军随时可能南下饮马长江，东晋原本孱弱的世兵体系早已腐朽不堪，根本无法抵御强敌。谢玄临危受命，在广陵、京口一带招募北方流民中的骁勇之士，用短短数年时间打造出一支名垂青史的精锐之师，这支军队不仅在淝水之战中以少胜多击溃前秦大军，更在此后数十年里左右东晋政局，成为南朝军事力量的源头。
北府兵的诞生，从来都不是仓促拼凑的产物。早在郗鉴镇守京口的时代，这里就已经聚集了大量从北方逃难而来的流民，他们的家乡被胡族占领，亲人多死于战乱，人人都带着刻骨的生存危机与复仇意志，常年在江北与胡族军队周旋作战，本身就具备极强的战斗力。谢安执掌中枢后，为了平衡上下游的军事力量、抵御前秦的巨大压力，特意举荐侄子谢玄出任兖州刺史，监江北诸军事，专门负责在广陵一带整军，这给北府兵的正式组建铺好了最关键的政策基础。
谢玄的募兵思路，完全跳出了东晋传统世兵制的僵化框架。他没有从早已丧失战斗力的官方兵户中征兵，而是直接面向南徐州、南兖州的流民群体选拔，尤其看重那些常年带着部曲作战的流民帅。彭城刘牢之、东海何谦、琅琊诸葛侃等一众在北方战场摸爬滚打多年的悍将，全都在此时应募入伍，谢玄选拔刘牢之担任参军，让他常年率领精锐作为前锋，这支军队从组建之初就没有冗杂的老弱士卒，全员都是身经百战的亡命之士，战斗力从一开始就远超常规的东晋军队。
北府兵的锋芒，在正式组建两年后就已经展露无遗。太元四年，前秦大军进攻淮南，包围三阿，谢玄率领刚刚成型的北府兵驰援，一战便击溃前秦军队，将敌军一路向北击退，彻底解除了淮南的危机，这也是东晋军队多年来第一次在正面战场硬撼前秦主力并大获全胜。此后数年里，北府兵不断在江北与前秦的小股部队作战，在实战中打磨战术、强化配合，一步步成长为东晋唯一一支能与前秦铁骑正面抗衡的精锐力量。
等到太元八年淝水之战爆发，八万北府兵直面前秦八十余万大军，刘牢之率五千精锐强渡洛涧，一战便击破前秦五万主力，斩杀十余名敌将，直接打掉了前秦军队的士气。后续淝水决战中，北府兵全员死战，趁着敌军后撤的时机全线冲锋，直接将前秦的百万大军彻底击溃，一路追击到黄河边，收复了大量中原故土。这支由谢玄亲手缔造的精锐之师，不仅挽救了东晋的危局，更在此后成为东晋末年刘裕崛起的核心军事资本，直接开启了南朝的历史序幕，成了中国古代军事史上最具传奇色彩的精锐部队之一。