永徽六年（655年），
唐高宗決定通過“廢王立武”一舉解決專權的長孫無忌集團，
“廢王立武”也自然遭到了長孫無極集團的強力阻擊。
因為當時朝廷的實權都掌握在長孫無忌集團的手中，
所以唐高宗的多次嘗試都以失敗告終。
就在此時， 司空李勣單獨對唐高宗說：“此陛下家事,何必更問外人。 ”這句話讓唐高宗一下子下定了決心， 馬上將反對“廢王立武”的宰相大臣一一處理， 從而徹底解決了長孫無忌集團。
那麼李勣這句“此陛下家事,何必更問外人”到底有什麼厲害的地方， 從而徹底扭轉了“廢王立武”的進程？
首先， 李勣“此陛下家事,何必更問外人”看起來是客套話， 但卻說明瞭一個問題：我李勣作為外人不該管“廢王立武”的事， 長孫無忌一樣是外人（外戚）， 也不該過問“廢王立武”。 李勣這句話既是對唐高宗的支持， 也是在為“廢王立武”尋找法理依據。
其次， 唐高宗之所以無法“廢王立武”， 是因為掌握整個換皇后程式的宰相都是長孫無忌集團的成員， 長孫無忌不同意就換不了皇后。 在沒有得到長孫無忌同意的情況下， 唐高宗想要“廢王立武”的唯一辦法就是打擊那些長孫無忌派系的宰相。
但是這樣一來， 意味著唐高宗要和長孫無忌徹底攤牌。 當時唐高宗在朝廷中一沒人脈、二沒根基、三沒權勢、四沒影響， 如果徹底攤牌極有可能引發不可預料的後果。 之後的唐中宗就是處理宰相權力的時候過於急躁， 才被武則天抓住機會廢掉的。
李勣作為淩煙閣功臣之一、當時的正一品重臣（司空）、大唐第一名將， 是唯一在人脈和影響上能與長孫無忌相抗衡的大人物。 而且作為碩果僅存的貞觀一等名將， 李勣在當時是軍方的最高代表人物， 而這恰恰是長孫無忌集團所欠缺的。
因此得到了李勣的支持， 唐高宗不僅擁有了可以抗衡長孫無忌的人脈和影響。 更重要的是得到了軍方的支持， 唐高宗就算跟長孫無忌徹底攤牌， 也不會再怕會發生什麼非常變故了。 所以李績的話才讓唐高宗下定決心解決長孫無忌。