2004年，国务院发布了《2003—2007年教育振兴行动计划实施纲要》，要求进一步落实“在国务院领导下，由地方政府负责、分级管理、以县为主”的农村义务教育管理体制。县级政府要切实担负起对本地教育发展规划、经费安排使用、教师和校长人事等方面进行统筹管理的责任。明确各级政府保障农村义务教育投入的责任；中央、省和地（市）级政府通过增加转移支付，增强财政困难县义务教育经费的保障能力。建立和完善农村中小学投入保障机制，确保农村中小学教职工工资按时足额发放，确保农村中小学校舍的维护、改造和建设，确保维持学校正常运转的基本支出需要。再一次强调了实施“以县为主”的义务教育管理体制改革的必要性和重要性。
由于我国经济发展存在着很大的地区差异，从全国来看，实施“以县为主”的义务教育管理体制改革还存在着一些困难，落实农村义务教育管理体制存在不少问题，就国家教育督导团2002年检查和调研到的县（市、区）为例，还存在着农村中小学教职工工资发放问题还没有完全解决，税费改革对农村义务教育办学经费的影响，农村中小学学校公用经费难以维持日常办学的开支以及中小学危房问题等。时任教育部副部长的陈小娅也强调，农村税费改革在全国推开后，在一些经济欠发达地区，原来作为中小学经费“半壁江山”的农村教育费附加和教育集资等被全部取消，虽然旨在减轻农民负担，但在客观上却使原本不足的义务教育经费再次陷入窘境。这一体制的完善尚需做大量的工作。