魏征字玄成，巨鹿曲城人。魏征幼年丧父，家境贫寒，穷困失意却有远大志向，不从事谋生的职业，出家当了道士。他喜爱读书，能融会贯通，见天下越来越乱，特别留意先秦纵横家的学说。李密起兵后，魏征投靠了他。魏征对李密提了十条计策，李密很欣赏那些计策，但是却没有采用。久而久之，他对李密很失望，认为李密成不了大业。
李密失败后，魏征跟随他一起投降了唐朝。到了长安后，魏征很久都得不到重用，于是请求让自己去安抚山东地区。当时李世勘还没有投降，魏征给他写信，将其劝降。窦建德攻下黎阳后，魏征当了俘虏，窦建德失败后他再次回到唐朝。李建成听说魏征很有才干。于是将他任命为太子洗马，很器重他。
魏征见李世民的势力太大，劝李建成要早做防备。玄武门之变后，唐太宗找来魏征，问他：“你为什么要挑拨我们兄弟二人的关系?”魏征说：“太子如果当初听了我的话，就不会落到现在这个田地了。”唐太宗其实并没有责怪魏征的意思，他知道魏征是个有才能的人，登基后将他任命为谏议大夫。
唐太宗励精图治，想建立一番丰功伟业。他多次把魏征请到内室，向他询问得失。魏征很有才能，而且性情耿介，从来不会屈服。唐太宗和他谈话，都能欣然采纳他的意见，魏征很高兴能够遇到明主，所以更加努力地进谏。
唐太宗曾经说过：“魏征前后给我提了两百多条意见，如果不是一心为国的话，那是不可能办到的。”不久，有人弹劾魏征徇私，唐太宗派温彦博去调查，查出是诬陷。温彦博上奏说：“魏征身为大臣，应该检点自己的言行，但他却不能避开嫌疑，所以才会有谣言出现。虽然他并没有徇私，但也有应该责备他的地方。”
唐太宗命温彦博去责备魏征，并告诫他以后要多注意下影响。魏征不服，上奏说：“我觉得君臣之间应该相互和谐默契，像一个整体一样。哪能不顾公道，只注重自己行为的影响的?如果大家都这样做的话，国家迟早完蛋。”唐太宗很吃惊，对他说：“我知道错了。”魏征继续说道：“我希望陛下让我做良臣，不要让我做忠臣。”唐太宗不明白，问道：“这也有区别?”
魏征回答道：“后稷、契和皋陶他们属于良臣，而关龙逢和比干是忠臣。良臣能让自己和君主都获得美名，而忠臣只能让自己遇到杀身之祸，还给君主留下骂名，两者区别很大的。”唐太宗接受了他的意见，并赏给他500匹绢。
唐太宗到九成宫居住的时候，有宫女要回京城，住在县城的驿站里。不久右仆射李靖和侍中王硅也来了，县吏按照规定让宫女们搬走。唐太宗知道这事后很生气，说：“李靖那些人也太霸道了!当地官吏为什么偏袒李靖而怠慢我的宫女?”就下令查处那些人。
魏征劝阻道：“李靖他们是陛下的心腹大臣，而宫女只是给皇上皇后打杂的奴婢。要论各自的职守，两者根本没得比。再说李靖等人因公外出，各地官吏要向他们打听朝廷的纲纪，回来后，陛下也要向他们询问民间疾苦，他们当然应该和下面的官吏见面。至于宫女，除了要供给她们饮食之外，官吏没有义务去参见她们。如果以这种罪名处罚他们的话，恐怕对陛下仁德的名声不利。”唐太宗才息怒，宣布不追究县吏和李靖他们了。
不久唐太宗在丹霄楼设宴款待群臣。喝得高兴的时候，唐太宗对长孙无忌说：“魏征和王瑾等人以前为李建成效力，现在想起来，他们当时真是可恶，而我能不计前嫌提拔他们，完全可以和古人相比了。但是魏征每次进谏的时候，如果我不听从的话，他就不会立刻回答我。这是为什么呢?”
长孙无忌说：“大臣认为事情不对，所以才会进谏，如果陛下没有听从而大臣马上回答的话，可能会妨碍事情的实行。”唐太宗说：“可以当时先答应着，过后再提意见嘛。”魏征插话道：“以前舜对大臣说：‘你们不要当面顺从我，过后又来反对。’如果我当面顺从陛下，回去又要提意见，这就有违舜的教导了。”
唐太宗放声大笑：“别人说魏征举动粗野、傲慢，我却觉得妩媚，正是因为这些啊。”魏征拜谢说：“:陛下启发引导臣让臣说话，所以臣敢于进谏，如果陛下不接受臣的进谏，怎么敢多次触犯皇上的尊严呢?”
那月，长乐公主将要出嫁，太宗因她是皇后所生，命令有关部门办的嫁妆比永嘉长公主多一倍。魏征说：“不行。从前汉明帝准备授封地给他的儿子，说‘我的儿子怎么能与先帝的儿子等同，可封给他楚地、淮阳的一半。’以前的吏书把这事作为美谈。天子的姊妹是长公主，天子的女儿是公主，既然加‘长’字，就是有它的尊荣显贵。感情可以有深有浅，但不容许超越了礼仪制度。”
太宗认为他说得对，入宫告诉长孙皇后，然后派使者送钱四十万、绢四百匹，到魏征的住宅赐给他。不久魏征晋升爵位为郡公。
魏征死后，太宗对他追思不已，赐给实封九百户。有次上朝时太宗感叹地对侍臣说“:用铜做镜子，可以端正衣冠;用历史做镜子，可以知道兴衰更替;用人做镜子，可以了解得失。朕常保持这三面镜子，用来防止自己的过失。现在魏征去世，我失去了一面镜子!
史家评论：魏征与皇上讨论政术，来回应对，恐怕不下十万言。他指明帝王过错，能以近代的事物作比喻，这是前代诤臣所达不到的。他上不辜负主公的信任，下不阿权贵，中不宠护亲族，外不结党营私，不因为时势的变化改变自己的气节，不为图谋权位出卖自己的忠诚。即使是汉之刘向、魏之徐邈、晋之山涛、宋之谢朏，也无法比较。前代诤臣，一人而已。