东晋太元初年，前秦苻坚统一北方之后，数十万大军频频在淮河沿线制造摩擦，东晋的长江防线处处告急。当时东晋朝廷掌控的中央禁军久不经战，战斗力孱弱，上游的桓氏军队又始终和中枢存在隔阂，整个江东几乎没有一支能直面北方胡族的野战精锐。谢玄正是在这样的危局之下，受谢安举荐出镇广陵，拿到了招募新军的全权授权，开启了改变东晋国运的建军之路。
谢玄没有走当时常规的募兵老路，他将招兵的目标完全锁定在了从北方逃难而来的流民群体身上。这些人大多是从中原故土被胡族铁骑驱赶出来的幸存者，亲人多死于战乱，家园尽数被胡人焚毁，每个人骨子里都带着对北方胡族的刻骨仇恨。谢玄从中严格遴选最骁勇悍不畏死的壮士，又从中发掘出刘牢之、何谦、诸葛侃等一批出身流民、作战经验极其丰富的猛将，让他们分层统领麾下士卒，短短数年时间就拉起了一支完全不同于旧有世兵的全新军队。因为这支军队长期驻扎在京口，而京口当时被称为“北府”，这支劲旅便正式得名“北府兵”。
北府兵从建立之初就展现出了远超东晋其他军队的强悍战斗力。太元三年，前秦七万大军围攻淮南重镇三阿，东晋沿线守军接连溃败，整个江北防线几乎崩溃。谢玄率领刚刚成军不久的北府兵火速驰援，一战就将秦军前锋击溃，随后一路追击，在盱眙、君川连续大败秦军，将入侵的前秦军队全部赶回淮河以北。这是北府兵第一次在大规模战役中亮相，就以惊人的战斗力震惊了整个南北，前秦此后再也不敢轻视东晋在江北的军事力量。
公元383年，苻坚亲率号称百万的南下大军直扑江东，淝水之战正式爆发。谢玄作为东晋北伐前锋都督，率领八万北府兵直面数倍于己的前秦大军。他先派刘牢之率五千北府精锐强渡洛涧，凿穿前秦五万前锋的防线，阵斩秦将梁成，将数万秦军赶入淮水之中溺亡，直接打掉了前秦大军的士气。随后两军隔淝水对峙，谢玄精准抓住苻坚想要半渡邀击的心理，用后撤决战的计策诱使秦军移动，趁着秦军阵型大乱的瞬间，亲率八千北府精锐强渡淝水发起总攻，直接将数十万秦军彻底冲垮。风声鹤唳、草木皆兵，苻坚的百万大军在北府兵的冲锋之下土崩瓦解，东晋的亡国危机就此一战解除。
淝水大胜之后，谢玄立刻率领北府兵乘胜北伐，一路收复了黄河以南的大片故土，旧都洛阳、兖州、青州等此前沦陷多年的州郡尽数回到东晋手中，兵锋一度直抵黄河北岸。可就在北伐形势一片大好之际，东晋朝堂的猜忌与掣肘接踵而至，谢玄被朝廷下诏从前线召回，北伐进程被迫中断。而这支由谢玄亲手缔造的北府兵，此后依然左右了东晋南朝近百年的历史走向：从平定孙恩之乱，到刘裕凭借北府兵的家底剿灭桓玄、北伐灭燕，最终代晋建立刘宋，北府兵的传奇，成了整个东晋时代最耀眼的军事篇章。