霍光是漢武帝任命的，漢朝的趙帝開始壟斷權力。 漢宣帝初年，霍家勢力達到頂峰，嚴重威脅到皇權，漢宣帝每次見到霍光，都像是背著人一樣。 然而，漢傑二年（68年前）霍光去世後，漢宣帝僅用了兩年時間就將霍家剷除，那麼沒有根基的漢宣帝又是如何做到這一切的呢？
在其鼎盛時期，它擁有軍事和政治權力。 霍昭儀甚至成功推翻了皇帝。
霍家的崛起與霍光密不可分，作為霍可同父異母的弟弟，霍光之所以能夠憑藉自己的人脈進入朝廷當官，在很長一段時間裡，他都非常同情漢武帝，在漢武帝身邊工作。 後元二年（西元前87年），漢武帝臨終時，霍去兵任命廣為大司馬大將，並請他協助漢昭八皇帝劉福陵與金日炎、上官姬、桑紅陽等人一起， 由此開始了霍家的崛起。
元豐元年（西元前80年），桑紅陽、上官姬、蓋昌公主、燕王劉丹因策劃政變除掉霍光、廢黜趙帝而被處死。 由於六年前金日潘去世，霍光成為四大臣中唯一的倖存者，在趙帝的全力信任下，霍光壟斷了軍事和政治權力。
後來，在漢朝昭帝去世之前，霍光通過鼓勵霍家的子女和同事，擴大了他在全國的影響力。 元平元年（西元前74年）漢宣帝登基後，霍家勢力達到頂峰，他們不僅牢牢控制了政府，而且完全控制了軍事系統。
下面簡單列舉一下宣帝登基之初霍家的勢力：
霍光作為核心人物，以大司馬、大將軍、和尚的身份掌握著軍事和政治權力;
霍光的兒子霍雨雨和霍光的侄子霍雲作為中郎將軍率領金衣衛隊;
霍光的孫子霍山是鳳車的隊長，負責禁衛軍的胡越騎兵;
霍光的女婿范明佑是未央宮的衛隊長，曲遼將軍負責衛陽宮的守衛;
霍光的女婿鄧·廣漢是長樂宮的首席侍衛，負責守衛長樂宮;
霍光的女婿任擔任中郎宮的統帥，飛林衛;
霍光的女婿趙平是騎兵中尉，統帥飛林軍（即建章宮衛）;
霍光的孫子王漢是掌管金衣衛的中郎將軍;
霍光侄子的女婿張樹先後被任命為廣的醫生和副官，並參與了宮廷政治的討論。
以上還不算霍光的親信，但漢宣帝圍城的時候，霍光的兒女簡直讓他心急如焚，這也是漢宣帝每次見到霍光都會說的話"如果背後有刺，那是可恥的"原因。 身為漢宣帝，若是霍光的兒女在他身邊，別說親政了，恐怕連安然入睡都不太可能。
面對強大的霍家，漢宣帝只能選擇撤退。
漢宣帝登基之初，霍光就表達了想要奪回皇位的願望，但漢宣帝不敢接受，只好裝作不能主持政府，讓霍光繼續掌控政府。 這樣一來，霍光就可以繼續掌管政府了，大臣們在向漢宣帝匯報之前必須先問霍光，漢宣帝什麼都做不了，甚至在霍光面前假裝求助，禮儀姿態差了許多。
霍光的妻子霍賢考慮任命自己的女兒為王后，以加強對漢宣帝的控制，大臣們寫信支援，與霍光結盟。 漢宣帝不想把所有的墊子都給霍家，更不想提徐平君在流放時娶了他，所以不想讓他失望，執意要讓許平君立為王后。
宣帝的舉動激怒了霍憲，他趁著徐平軍的工作，命令御醫淳於嫣毒死徐平軍。 徐平君死後，霍光的小女兒霍承君於西元前三年（西元前71年）入宮，先是成為美女，次年3月正式登基。
漢玄帝雖然也懷疑許平君的死不是普通的死，但是由於當時的情況，他沒有機會追究，只好假裝偏袒霍皇后，而霍承君則因為母親家的權勢，在後宮受到寵愛， 這可以理解為漢宣帝的困境。
甚至在霍光死後，霍賢和霍成鈞都想毒死徐平雲的兒子，讓他做太子，可見霍家的囂張。
霍光死後，霍家勢力一落千丈，漢宣帝僅用了兩年時間就將霍家剷除。
霍光是霍家的核心人物，霍家的衰落始於霍光的去世，雖然霍光死於漢二年（68年前），但當時霍光家族實力雄厚，漢宣帝在他統治下的時間並不長， 而且在短時間內廢除霍家也不容易。
然而，就在霍光死後兩年，漢宣帝絕望地捲土重來，徹底摧毀了霍家。 漢宣帝是怎麼做到的？
第一步：從霍光手中奪取政權，將政府還給人民。 霍光死後，漢宣帝不僅為他舉行了隆重的葬禮，還要求在皇帝身邊舉行葬禮。 後來，漢宣帝封霍雨、雲、霍山為侯爵。 漢宣帝雖然解除了霍羽右將之位，卻將他提拔為大司馬之位，掌管尚書事務，這意味著權力仍然掌握在霍家手中，這其實是漢宣帝用來迷惑霍家的煙幕彈。
不久，漢宣帝宣布親自主持政務五天，聽取宮內事務，並命令所有**和百姓直接向皇帝報告，無需經過尚書。 這一招是皇帝親政府的需要，霍光死後，當然沒有人敢反對，但漢宣帝這一招，就等於剝奪了霍雨瑜的閱量權，讓商書事務的管理成為了乙個空頭銜。
漢宣帝重新獲得決策權後，開始任命近親，其中徐、施、王三人被提拔。 許的親戚是漢宣帝的親戚，原配徐平軍，如他的父親徐光漢和叔叔徐順、徐延壽。 石的親戚是漢宣帝的祖母石良帝的親戚; 石的侄子石高、石曾、石軒轅，是宣帝生母的親戚; 王的親戚是宣帝生母的親戚，如王無行、王武。 由於這些親戚大多在內廷**，官職不高，所以很少遇到阻力。
於是，漢宣帝通過挑起戰場，分了親戚的勢力，將與霍光有舊怨的魏襄提拔為御史士、士大夫; 將金日廉的侄子金安石提拔為尚書福; 沙州刺客張安石，也負責僕人射擊，被提拔為大司馬。 三人中，魏襄和金安尚是漢宣帝的心腹，而張安石是霍光集團的一員，所以阻力要小得多。 漢宣帝慫恿魏襄和金安尚與霍光對峙，而張安石的目的顯然是為了分化霍光的勢力。
第二步：大刀闊斧地盤，消滅霍奎的軍事力量。 漢宣帝最初的人事安排雖然包括了軍權，但他只提拔了幾個郎中，並任命張安石的兒子張延壽為廣魯迅，負責宮廷安全。 霍家人雖然緊張，但並沒有感到太過的威脅。 然而，沒過多久，漢宣帝就突然對霍家的軍隊出手了，而且是極其暴力的。
霍光的女婿范明佑中尉被免職，曲遼將軍被調往廣魯迅;
霍光的女婿鄧廣漢被免去長樂宮衛兵職務，任命為少府;
霍光的女婿任被免去中郎宮飛麟監職，調往安定太首（今寧夏固原）;
趙平的騎兵中尉被霍光的女婿辭退，被調到散騎兵中尉光祿博士那裡，去了廣陵軍區;
霍光的孫子王漢被免去中將職務，被任命為武威（今甘肅武威）總督;
他解除了霍光的侄女光祿博士的蜀縣（今四川成都）太首的職務;
如此一來，除了霍山和霍雲之外，霍家的兵力幾乎消失了，霍家的勢力也嚴重分散，一部分留在了宮中，另一部分則被分配到了邊境的貧困地區。 原來胡的騎兵統帥餘臨威和兩宮的侍衛位置被徐氏兩族取代，讓宣帝真正消除了霍氏對皇權的威脅。
第三步：逼霍家造反，一舉剷除霍家。 漢玄帝連續兩道聖旨無疑激怒了霍家，當他們不知道是接受真相還是暴瀾反抗時，才得知霍賢當時給徐平君下了毒，這加深了他們的恐懼。 他們知道，如果漢宣帝知道徐平君被殺的真相，他肯定不會放過霍家，於是他們開始積極造反。
不久，趙平的弟子石夏和霍雲的弟子張彪建議霍去冰與上官太后（霍光的孫女）聯手發動政變，廢黜漢宣帝。 不過，事情被揭露後，漢宣帝並沒有逮捕兩人，而是下詔將霍雲和霍珊免去官職，命令他們回家，並嚴厲訓斥霍光的子女忽視太后，屢次犯官印。 後來，霍雲的舅舅李靖因為曹雲的諸侯君王而**，加深了霍家的恐懼。
事態急轉直下，霍家最終決定造反。 他們的計畫是讓上官太后招待宣帝的祖母薄平君，並邀請許廣漢和魏襄陪她。 鄧光漢和範友明代表上官太后殺死了徐光漢和魏翔，然後上官太后下詔廢黜漢宣帝。
然而，還沒等計畫實施，霍雲就被任命為宣蘇郡太首，霍山也被洩露了**。 霍憲寫了一封信，希望用這筆錢來贖罪，但漢宣帝沒有理會。
這時，漢宣帝宣布了霍奎的叛亂計畫。 得知此事被揭露後，霍雲、霍山、方有明自殺身亡，霍賢、霍玉、鄧光涵被抓獲，霍玉被斬首，霍賢和他的幾個女兒和兄弟被處死，皇后霍成鈞被囚禁在昭台縣。
因此，從姬二年（西元前68年）三月霍光去世，到耆四年（西元前66年）七月霍氏一族滅亡，漢宣帝在兩年多一點的時間裡進行了絕地反擊。 此後，漢宣帝在朝廷上大力剷除霍家，被霍家囚禁殺害的人數達上千人。