整顿吏治既是改革本身的一个重要内容，又是关系到整个变法革新能否启动并取得成功的前提。张居正认为“致理之遣，莫急于安民生；安民之要，惟在核吏治”，明确把“核吏治”当作“安民”、“治理”的前提。
他一开始就围绕“尊主权、课吏职、信赏罚、一号令”等方面，大刀阔斧进行整顿，以刷新振举“纪纲不肃，法度不行上，下务为姑息，百事悉从委徇，以模棱两可谓之调停，以委曲迁就谓之善处”的颓风。惟有加强集权，重诏令，振纪纲，方能“张法纪以肃群工，揽权纲而贞百度”，革新法令才能畅行无阻。
张居正强调治理天下须“悬法于众”，以法理政，坚持“刑赏予夺，秉持公道”，以振扬风纪，使天下信服。厉行整顿“严其约束”的结果，使得“九围之人，兢兢辑志；慢肆之吏，凛凛奉法”。提高行政效率、朝令夕行，也是整顿吏治的重要内容。
主条目：考成法
为了建立有效的考核考绩制度，张居正于万历元年（1573年）创设并颁行考成法，考成法的精神是“立限考事”、“以事责人”。
考成法，即由各部衙制定一式三份收发文簿，分别留部作底本、送六科备注、交内阁查考。据其道途远近、事情缓急，“定程限，立文簿，月终注销。抚按稽迟者，部院举之；部院容隐欺蔽者，六科举之；六科不觉察，则阁臣举之。月有考，岁有稽”。“误者抵罪”使每件公事落到实处。
明初定制，六部和六科均绕过内阁直接向皇帝负责。张居正行考成法，加强了内阁事权，由内阁通过六科、都察院控制六部，而各省抚按则听命于六部。最终，从中央到地方各级机构都由内阁控制，从而加强中央集权，使内阁成为变法的中枢。
从内阁——六科——六部——察地方藩、臬等司及私按两官；再以两司察州、县官。层层督察，从而形成一个从内阁到地方官逐级督察的、严密的考核考绩制度。为排除宦官干政，他还专门告诫冯保“裁抑其党，毋与六部事”，从组织机构上保证新法畅通。这种由三个机构互相监督、定期审核各级官僚政绩、施行赏罚的做法，有力地提高了办事功效。
张居正整顿吏治，务求“法之必行”、“言之必效”，取得了明显成效，如傅维麟《明书》所赞扬的，虽“万里之外，朝下而夕奉行，如疾雷迅风，无所不披靡”。所有官员，百事惟谨，使政风大变，由于行政效率提高，地方官皆按期定税，缓解了最吃紧的财政困难。
张居正称：“近年以来，正赋不亏，府库充实，皆以考成法行，征解如期之故”。