陳毅回到中南海後， 在黨的“九大”會上， 雖被選為中央委員， 保留著原來的副總理兼外交部長的職務， 但未能進中央政治局， 這就意味著他已正式從黨中央高層退下來了。
忙了一輩子的他， 在家裡清閒了半年， 由於中蘇關係已惡化到“說打就打”的程度， 所以中央主要領導人和一些老同志， 不得不進行戰略疏散， 陳毅也是其中之一。 其時仍住在中南海內的朱德、李富春、董必武、王稼祥、胡喬木、陳琮英（任弼時夫人）等， 將和陳毅一樣， 先後搬出中南海。 在陳家要走的前一天， 因要移交大門鑰匙和處理一些瑣碎事務，
家裡大部分人都離開了， 見到的只有陳毅一人。
他心情低落地跟我說：“在中南海住了十幾年， 認識了你們， 為我工作了那麼長時間， 向你們表示感謝。 現在依照中央的決定， 我們和其他老同志家都要搬出中南海， 恐怕還要離京在外地住一段時間， 你們在這裡繼續好好為毛主席、周總理工作。 後會能否有期？老天爺定吧。 ”
我環顧空空蕩蕩的辦公室， 心一下不免一陣蒼涼， 曾經光彩高雅的場所， 而今只孤零零地留著一張紫檀雕花辦公桌， 一張他在上海當市長時照的華東軍政委員會第一次全體委員會議的合影。 他指著辦公桌對我說：“這是我從上海帶來的公家財產， 我不帶走， 你們搬動的時候， 一定輕起輕落，
我雙手接住， 深情地答道：“謝謝陳毅元帥， 請多多保重， 我們會再見面的。 ”不久陳毅懷著種種的置疑和仍舊堅定的信念， 離開了中南海。