皇太子之所以得立，是他的背后有两股支持的力量。一股力量来自汉武帝，这股力量如今有些变幻莫测；另一股力量来自卫氏外戚集团。
虽然卫青不像田蚡那样飞扬跋扈，一贯循规蹈矩， “奉法遵职”,但大将军、骠骑将军的崇高地位不由人不畏惧几分。
当时除汲黯外，有哪个大臣见了卫青不拜上几拜呢?可惜的是，卫氏集团的两根台柱子——卫青和霍去病年寿不永，英年早逝，霍去病的终年只有二十四岁。卫氏集团自此一蹶不振。
太初二年(前103),皇太子的姨夫公孙贺拜相，为卫氏集团带来一丝生气，但要想恢复昔日气势已经不可能了。
有学者断言后来公孙贺被族诛，是一场政治清洗的开始，是武帝打击卫氏外戚集团，为废长立幼扫清道路的信号。
这是把简单的问题复杂化，而一切科学的任务都当是把复杂的问题简单化。
汉武帝多年来处心积虑地压抑外戚，削夺相权，将丞相剔剥得几乎只剩一副空架子，搞得丞相接连死于非命，吓得公孙贺向汉武帝叩头不止，不敢接受任命，分明是强大的皇权已经压扁了外戚势力。