首先，衛子夫不是霍光三姨，他和霍去病同父異母，他的母親不是衛少兒。

其次，霍光本人也是巫蠱之禍的客觀受益人，要不是巫蠱之禍把朝中所有的實力派全部清洗掉了，劉徹死前又把鉤弋夫人帶走了，霍光如何能夠在昭宣兩朝權傾朝野？劉據繼位，他又能獲得什麼呢？他既不是劉據心腹，又不是劉據的外戚。再退一萬步，就算劉據會重用他，霍光也不可能獲得他在真實歷史時空所得到的權勢和地位。宣帝也忍不了霍光啊，明君跟權臣本來也不可能共存。

第三：霍光是劉徹指定的顧命大臣，而衛子夫和劉據因為被迫造反這件事，已經成為了劉徹的政敵，劉徹對衛太子的勢力進行了大肆的誅殺和清洗。霍光的政治生命是劉徹給的，他給衛子夫和劉據平反，不等于否定自己的權力來源嗎？哪怕后面宣帝繼位，給衛子夫和劉據追封改葬，也只能給「思」和「戾」這樣的謚號，在這一點上，宣帝和霍光立場一樣，他們二人的權力和合法性來源都是劉徹，給衛子夫母子平反，相當于否定劉徹。

但衛子夫母子畢竟是宣帝的直系先輩，所以宣帝熬死霍光后，提升了他二人的墓葬規格。而從霍光有意打壓劉據一系的追封級別也可以證明，他對衛太子并無特殊的情意。他作為一個權臣，一個政客，只忠于權力本身。他的權力構成來源一是武帝托孤，二是昭帝輔臣，跟衛太子并無關系。他為了讓自己的話語權更重，當然要努力捧高武帝和昭帝，相應的也就會打壓衛太子一系。

最后一點，霍光很忙，他忙著收拾政敵，忙著治理國家，巫蠱之禍的糊涂賬劉徹自己到死都沒料理清楚，霍光當然是能不碰就不碰。碰了沒好處，甚至還會惹麻煩，那碰它做什麼？