在后幾年里，漢元帝十分喜好儒術(shù)文辭，尤喜愛(ài)《詩(shī)經(jīng)》，曾多次親自聽(tīng)匡衡講《詩(shī)》，對(duì)匡衡的才學(xué)十分贊賞，因此任匡衡為御史大夫。建昭三年(公元前36年)丞相韋玄成病逝，匡衡又代為丞相，封樂(lè)安侯，輔佐皇帝，總理全國(guó)政務(wù)。匡衡可算是因明經(jīng)而位極人臣的典型了。

匡衡任職期間，多次上疏陳述自己對(duì)朝廷政策的意見(jiàn)，陳述治國(guó)之道并經(jīng)常參與研究討論國(guó)家大事，按照經(jīng)典予以答對(duì)，言合法義，博得元帝信任。每當(dāng)朝廷大臣討論政務(wù)時(shí)，匡衡總是引《詩(shī)經(jīng)》為據(jù)，認(rèn)為“六經(jīng)者，圣人所以統(tǒng)天地之心，著善惡之歸，明吉兇之分，通人道之意，使不悖于其本性者也。故審六經(jīng)之指，則人天之望可得而和，草木昆蟲(chóng)可得而育，此永永不易之道也。”匡衡的主張得到元帝及成帝的支持，這與從漢朝中期就開(kāi)始興起的獨(dú)尊儒術(shù)，推重經(jīng)學(xué)，微言大義的社會(huì)風(fēng)尚是分不開(kāi)的，實(shí)際是漢朝統(tǒng)治者用以統(tǒng)治人民的一種手段。

元帝后期時(shí)，宦官石顯為中書(shū)令，他結(jié)黨營(yíng)私，把持朝政，慫恿元帝加重賦役，剝削人民，但因有皇帝的寵幸，沒(méi)人敢觸犯他。成帝即位后，匡衡便上疏彈劾石顯，列舉其以前所犯罪惡，并糾舉他的黨羽，這是匡衡所做的最后一件鏟除奸佞，為漢朝廷盡忠的事情。不久，匡衡與同僚間漸有離隙，被人彈劾，貶為庶民，返回故里，不幾年，病死于家鄉(xiāng)。

元帝封其為安樂(lè)侯，其侯國(guó)食封土地本為三十一萬(wàn)畝，匡衡利用郡圖之誤，非法擴(kuò)大食封土地四萬(wàn)多畝。成帝時(shí)，司隸校尉駿等告其“專(zhuān)地盜土”（指擴(kuò)大國(guó)界），被免為庶人。