武則天對付老臣， 將褚遂良外貶， 君臣之間如何鬥法？
到此時， 褚遂良外貶已有一年多， 侍中韓瑗上奏， 想說服皇帝把褚遂良召回， 以恢復關隴一派的元氣。 他奏道：“朝廷貶謫賢良之臣， 向為風氣敗壞之兆。 遂良體國忘家， 乃國之老臣， 無聞罪狀， 即遭貶謫， 內外、百姓無不歎惋。 遂良雖有迕君之罪， 然顛沛經年， 陛下何不憐而赦之乎？”
高宗此時情緒還好， 平靜地說：“遂良之情， 朕亦知之。 然其悖戾好犯上， 故而責之。 卿何必言重？”
韓瑗、來濟見高宗的話有所鬆動， 便慨然力爭：“遂良乃社稷忠臣， 為讒諛之人詆毀。 陛下無辜棄逐舊臣， 恐非國家之福。 ”
高宗聽這話說得無禮， 臉色就有些不好。
韓瑗卻不察言觀色， 一時失口， 竟然說：“赫赫宗周， 褒姒滅之。 臣不願見唐室之衰亡也！”
高宗聞言， 勃然變色， 吼道：“你下去！”
朝議時， 武則天也在簾後， 但始終未作一聲。 她觀察得很細， 心中已然有數。
韓瑗退下後， 立刻上本辭官， 但高宗不准。
顯慶二年（657年）閏正月， 高宗帶著武后行幸洛陽宮， 在這裡住了下來， 並於當年底宣佈將洛陽定為東都。 後世有史家說， 因武則天在長安宮中常見王皇后、蕭淑妃的鬼魂作祟， 故有此避祟之舉。 而實際上， 是因為唐疆土已比前朝有所擴大， 政治中心南移， 是為便於統治。
到了三月， 不知出於什麼原因， 關隴一派建議高宗， 把褚遂良從潭州（今長沙）調到更遠的桂州（今廣西桂林）任都督， 這也可能是為了讓他再遠離政治中心一些以避禍。
關隴一派恢復聲勢基本是無望了， 與此相對， 擁武一派卻在一路猛進。 九天后， 李義府被提升為中書令。 中書省是國家的政務中樞， 在唐代也一度有西台、鳳閣、紫薇省之稱。
這個安排， 預示著終局一擊就要來臨！
果然， 到了當年七月， 許敬宗、李義府秉承武后意旨， 突然誣奏：“韓瑗、來濟潛謀不軌， 與褚遂良朋黨為奸， 密謀叛亂。 因桂州為用武之地， 故改授遂良為桂州都督， 意在引為外援。 ”
幾個宰相要謀反？荒唐， 但也有可能啊！
高宗是經不起嚇的， 聞奏大驚， 也不管有沒有證據， 立刻貶韓瑗為振州（今天海南三亞市）刺史， 來濟貶為台州（今浙江臨海市）刺史， 並終身不許入朝。
褚遂良更是問題的核心， 一傢伙被再貶到愛州（今越南清化）為刺史。 王皇后的舅舅雖然已是死老虎， 早就貶到榮州（今四川榮縣）了， 這次也受牽連， 再貶到象州（今廣西）為刺史。
至此， 關隴集團一朝瓦解。
大唐南疆的化外荒僻地， 忽然多了一批國家領導人級別的刺史。
褚遂良這一貶， 給貶到如今的外國地面去了， 心情惡劣可想而知。 他左思右想， 再無扳回局面的可能， 當初的倔強勁兒早已消失， 只有上表乞憐。
表上去之後，高宗不理。
表上去之後，高宗不理。