唐太宗即位后对中央政府的人事安排以及主要官员的人事调动，是与他对宰相制度的改革、确立三省六部制度同步进行的。魏晋以来形成的三省制度，至隋唐时已经正式确立。李世民对三省制度所实行的适当改革，在于他对三省的职权及其相互制约关系做出了明确的规定，创立了崭新的宰相制度，既完善了国家权力机关的职能，又使君权得到了进一步的加强。
唐代的三省，中书省是取旨制定政策的机要部门，中书令是最高长官，下属中书舍人若干，负责进奉章表，草拟诏敕策命，即所谓“中书出诏令”。门下省主管封驳审议，最高长官是侍中，其属官为给事中，负责对中书省所拟定的诏敕文书提出不同意见，涂窜奏还，即所谓“门下掌封驳”。尚书省是执行政令的最高行政机关，在唐代正式确定下属吏、户、礼、兵、刑、工六部，最高长官是尚书令以及左右仆射。因李世民曾担任过尚书令一职，左右仆射成为尚书省的最高长官，属官为左右丞。三省之中，中书与门下相互制约，关系密切，被唐太宗称为“机要之司”。
贞观元年（627）十二月，唐太宗对黄门侍郎王珪说：“国家本置中书、门下以相检察，中书诏敕或有差失，则门下当行驳正。人心所见，互有不同，苟论难往来，务求至当，舍己从人，亦复何伤！比来或护己之短，遂成怨隙，或苟避私怨，知非不正，顺一人之颜情，为兆民之深患，此乃亡国之政也。”又实行对军国大事由中书舍人“各执所见，杂署其名”的“五花判事”制度。这一切，目的在于注意发挥集体的智慧，减少决策上的失误，又可以防止个人专断，造成“兆民之深患”。
中书、门下、尚书三省的长官，均为宰相。后来为扩大议政人员以集思广益，参加议政的人数不断增多，御史大夫杜淹的“参预朝政”、秘书监魏征的参与朝政、太子詹事李世勋的“同知政事，始谓同中书门下三品”，此外尚有“同中书门下平章事”、“参知机务”。在贞观年间，凡取得上述“参议得失”、“参知政事”等上述一系列职衔者，即或不是三省的长官，也都可以到政事堂参预议政，都是宰相。
这种新的宰相制度，实行了三省的讨论、封驳、执行相结合的原则，注意发挥集体的智慧，既可以减少决策上的失误，又比较理想地解决了君权与相权的矛盾，避免少数宰相的专权，是唐太宗在中央官制改革问题上的一大贡献，国家机关的职能因此而得到完善和加强。
在对三省六部制度进行改革的同时，唐太宗又对三省六部官员及时进行调整。
贞观元年十二月，萧璃与陈叔达在太宗面前“忿诤，声色俱厉”，太宗便以此为借口将这两个不称心的大臣免除了宰相的职务；另一个不称心的宰相封德彝，于贞观元年六月病死，由长孙无忌补为尚书右仆射。贞观元年九月，中书令宇文士及被罢为殿中监。贞观二年二月，长孙无忌自动辞去宰相职务。杜如晦检校侍中，李靖检校中书令。十二月，以王珪为守侍中。贞观三年二月，以房玄龄为左仆射，杜如晦为右仆射，李靖为兵部尚书，尚书右丞魏征守秘书监，参预朝政。贞观四年二月，以御史大夫温彦博为中书令，守侍王珪为侍中，守户部尚书戴胄为户部尚书，参预朝政，太常少卿萧璃为御史大夫，与宰臣参议朝政。五月，杜如晦卒，以李靖为右仆射，侯君集为兵部尚书，参预朝政。自房、杜于贞观三年分别担任左、右宰相以来，唐太宗的宰相集团可谓是人材济济。特别是房、杜二人，“玄龄善谋，如晦能断”，“二人深相得，同心徇国，故唐世称贤相，推房、杜焉”。
史书记载表明，迨至贞观三、四年间，唐太宗对中央政府官制的改革已基本完成，三省六部制度已经正式确立，开始有效地发挥其国家政权中枢的职能。与此同时，唐太宗对他的宰相班子已完成了人员上的调整和充实，实现了新旧时期的过渡，一大批经过实践锻炼、考验和精心选拔的治国人材，进入了新的宰相班子，宰相中的人材之盛，实为历代所罕见。
贞观四年十二月的一次宴会上，众宰相侍宴于唐太宗的身旁。太宗面对他选拔上来的宰相们，心情十分高兴，便对身旁的侍中王珪说道：“卿识鉴精通，复善谈论，玄龄以下，卿宜悉加品藻，且自谓与数子如何？”
只见王珪答对说：“孜孜奉国，知无不为，臣不如玄龄。出将人相，臣不如李靖。敷奏详明，出纳惟允，臣不如温彦博。处繁治剧，众物毕举，臣不如戴胄。耻君不及尧、舜，以谏诤为己任，臣不如魏征。至于激浊扬清，嫉恶好善，臣于数子，亦有微长。”
王珪对房玄龄、李靖、温彦博、戴胄、魏征以及他本人各自长处的评论，可谓精当，因而听了他的评论，太宗。深以为然，众亦服其确论。
唐太宗正是凭借着他所确立的三省六部制度，依靠他所挑选的宰相班子，实行了一系列的社会改革，在治理国家方面取得了显著的成就，中国历史上著名的“贞观之治”，便是同上述的实际联系在一起的。
唐太宗在确立三省六部制度的同时，为提高政府工作效率，节省财政开支，又进一步采取“并省官员”的精减机构措施，在地方政权上实行州、县二级制，收到了明显的成效。
据《贞观政要择官》的记载，贞观元年，太宗对房玄龄等人说：“致理之本，惟在于审。量才授职，务省官员。故《书》称：‘任官惟贤才’，又云：官不必备，惟其人。若得其善者，虽少亦足矣；其不善者纵多，亦奚为？古人亦以官不得其才，比于画地作饼，不可食也……当须更并省官员，使各当所任，则无为而理矣。卿宜详思此理，量定庶官员位。”房玄龄等人根据唐太宗“并省官员”、“量定庶官员位，的指示，”由是所置文武总六百四十员“责令自此以后，”不可超授官爵“并说：吾以此待天下贤才，足矣。把中央政府的官员（不包括吏员）限定在六七百人之内，这对提高中央政府的工作效率是大有益处的。
将地方上的州、郡、县三级制改为州、县二级制，使地方上的行政机构和官员大为精简。东汉末年，全国只有郡国105个，魏晋以后郡的数目日益增多。至南北朝末年，北周有508个郡，南陈有109个郡，合计达617个郡。据《资治通鉴》卷一九二记载：“隋末丧乱，豪杰并起，拥众据地，自相雄长。唐兴，相帅来归，上皇为之割置州县以宠禄之，由是州县之数，倍于开皇、大业之间。”针对州县数目的大增，“民少吏多”，唐太宗采取“大加并省”的措施，取消了郡一级的行政机构，在地方上只设州、县二级，到贞观十四年，全国共有州府360个，县共有1557个。地方行政机构和官员的大量精简，不仅减少了国家的行政开支、减轻了人民的负担，也有利于地方政府工作效率的提高。
为加强中央政府对地方政权的监督，贞观元年又根据“山川形便”，将全国“分为十道：一日关内，二日河南，三日河东，四日河北，五日山南，六日陇右，七日淮南，八日江南，九日剑南，十日岭南”。10个监察区的设置，目的在于加强中央对地方政权的监督，不定时地派黜陟大使及巡察使、按察使、观察使到各地“巡省天下”，“观风俗之得失，察政刑之苛弊”；考察地方官吏，根据地方官吏的优劣来确定官吏的升降任免，进行赏罚。中央政府对地方的控制，也因此而得到进一步加强。
