華文網

我是一個CPU:這個世界慢!死!了!

最為我們熟知的關於電腦不同元件速度差異的圖表,是下面這種金字塔形式:越往上速度越快,容量越小,而價格越高。

這張圖只是給了我們一個直觀地感覺,並沒有對各個速度和性能做出量化的說明和解釋。

而實際上,不同層級之間的差異要比這張圖大的多。這篇文章就讓你站在 CPU 的角度看這個世界,說說到底它們有多慢。

希望你看完這篇文章能明白兩件事情:磁片和網路真的很慢,性能優化是個複雜的系統性的活。

注:所有的資料都是來自網路。所有的資料會因為機器配置不同,或者硬體的更新而有出入,但是不影響我們直覺的感受。

數 據

先來看看 CPU 的速度,就拿我的電腦來說,主頻是 2.6G,也就是說每秒可以執行 2.6*10^9個指令,每個指令只需要 0.38ns(現在很多個人電腦的主頻要比這個高,配置比較高的能達到 3.0G+)。我們把這個時間當做基本單位 1s,因為 1s 大概是人類能感知的最小時間單位。

一級緩存讀取時間為 0.5ns,換算成人類時間大約是 1.3s,大約一次或者兩次心跳的時間。這裡能看出緩存的重要性,因為它的速度可以趕上 CPU,程式本身的 locality 特性加上指令層級上的優化,cache 訪問的命中率很高,這最終能極大提高效率。

分支預測錯誤需要耗時 5ns,換算成人類時間大約是 13s,

這個就有點久了,所以你會看到很多文章分析如何優化代碼來降低分支預測的幾率,比如這個得分非常高的 stackoverflow 問題

二級緩存時間就比較久了,大約在 7ns,換算成人類時間大約是 18.2s,可以看到的是如果一級緩存沒有命中,然後去二級緩存讀取資料,時間差了一個數量級。

我們繼續,互斥鎖的加鎖和解鎖時間需要 25ns,換算成人類時間大約是 65s,首次達到了一分鐘。併發程式設計中,

我們經常聽說鎖是一個很耗時的東西,因為在微波爐裡加熱一個東西需要一分鐘的話,你要在那傻傻地等蠻久了。

然後就到了記憶體,每次記憶體定址需要 100ns,換算成人類時間是 260s,也就是4分多鐘,如果讀一些不需要太多思考的文章,這麼久能讀完2-3千字(這個快閱讀的時代,很少人在手機上能靜心多這麼字了)。看起來還不算壞,不多要從記憶體中讀取一段資料,需要的時候很更多。

到了記憶體之後,時間就變得一個量級,CPU 和記憶體之間的速度瓶頸被稱為馮諾依曼瓶頸

一次 CPU 上下文切換(系統調用)需要大約 1500ns,也就是 1.5us(這個數字參考了其他文章

在 1Gbps 的網路上傳輸 2K 的資料需要 20us,換算成人類時間是 14.4小時,這麼久都能把《星球大戰》六部曲看完了(甚至還加上吃飯撒尿的時間)!可以看到網路上非常少資料傳輸對於 CPU 來說,已經很漫長。而且這裡的時間還是理論最大值,實際過程還要更慢一些。

SSD 隨機讀取耗時為 150us,換算成人類時間大約是 4.5天。換句話說,SSD 讀點數據,CPU 都能休假,報團參加周邊遊了。雖然我們知道 SSD 要比機械硬碟快很多,但是這個速度對於 CPU 來說也是像烏龜一樣。I/O 設備 從硬碟開始速度開始變得漫長,這個時候我們就想起記憶體的好處了。儘量減少 IO 設備的讀寫,把最常用的資料放到記憶體中作為緩存是所有程式的通識。像 memcached 和 redis 這樣的快取記憶體系統近幾年的異軍突起,就是解決了這裡的問題。

從記憶體中讀取 1MB 的連續資料,耗時大約為 250us,換算成人類時間是 7.5天,這次假期升級到國慶七天國外遊了。

同一個資料中心網路上跑一個來回需要 0.5ms,換算成人類時間大約是 15天,也就是半個月的時間。如果你的程式有段代碼需要和資料中心的其他伺服器交互,在這段時間裡 CPU 都已經狂做了半個月的運算。減少不同服務元件的網路請求,是性能優化的一大課題。

從 SSD 讀取 1MB 的順序資料,大約需要 1ms,換算成人類時間是 1個月。也就是說 SSD 讀一個普通的檔,如果要等你做完,CPU 一個月時間就荒廢了。儘管如此,SSD 已經很快啦,不信你看下面機械磁片的表現。

磁片定址時間為 10ms,換算成人類時間是 10個月,剛好夠人類創造一個新的生命了。如果 CPU 需要讓磁片泡杯咖啡,在它眼裡,磁片去生了個孩子,回來告訴它你讓我泡的咖啡好了。機械硬碟使用 RPM(Revolutions Per Minute/每分鐘轉速) 來評估磁片的性能:RPM 越大,平均定址時間更短,磁片性能越好。定址只是把磁頭移動到正確的磁軌上,然後才能讀取指定磁區的內容。換句話說,定址雖然很浪費時間,但其實它並沒有辦任何的正事(讀取磁片內容)。

從磁片讀取 1MB 連續資料需要 20ms,換算成人類時間是 20個月。IO 設備是電腦系統的瓶頸,希望讀到這裡你能更深切地理解這句話!如果還不理解,不妨想想你在網上買的東西,快遞送了將近兩年,你的心情是怎麼樣的。

而從世界上不同城市網路上走一個來回,平均需要 150ms(參考世界各地 ping 報文的時間CDN

虛擬機器重啟一次大約要 4s 時間,換算成人類的時間是 3百多年。對於此,我想到了約伯斯要死命優化 Mac 系統開機啟動時間

物理伺服器重啟一次需要 5min,換算成人類時間是 2萬5千年,快趕上人類的文明史了。5 分鐘人類都要等一會了,更別提 CPU 了,所以沒事不要亂重啟伺服器啊,分分鐘終結一個文明的節奏。

參考資料實際過程還要更慢一些。

SSD 隨機讀取耗時為 150us,換算成人類時間大約是 4.5天。換句話說,SSD 讀點數據,CPU 都能休假,報團參加周邊遊了。雖然我們知道 SSD 要比機械硬碟快很多,但是這個速度對於 CPU 來說也是像烏龜一樣。I/O 設備 從硬碟開始速度開始變得漫長,這個時候我們就想起記憶體的好處了。儘量減少 IO 設備的讀寫,把最常用的資料放到記憶體中作為緩存是所有程式的通識。像 memcached 和 redis 這樣的快取記憶體系統近幾年的異軍突起,就是解決了這裡的問題。

從記憶體中讀取 1MB 的連續資料,耗時大約為 250us,換算成人類時間是 7.5天,這次假期升級到國慶七天國外遊了。

同一個資料中心網路上跑一個來回需要 0.5ms,換算成人類時間大約是 15天,也就是半個月的時間。如果你的程式有段代碼需要和資料中心的其他伺服器交互,在這段時間裡 CPU 都已經狂做了半個月的運算。減少不同服務元件的網路請求,是性能優化的一大課題。

從 SSD 讀取 1MB 的順序資料,大約需要 1ms,換算成人類時間是 1個月。也就是說 SSD 讀一個普通的檔,如果要等你做完,CPU 一個月時間就荒廢了。儘管如此,SSD 已經很快啦,不信你看下面機械磁片的表現。

磁片定址時間為 10ms,換算成人類時間是 10個月,剛好夠人類創造一個新的生命了。如果 CPU 需要讓磁片泡杯咖啡,在它眼裡,磁片去生了個孩子,回來告訴它你讓我泡的咖啡好了。機械硬碟使用 RPM(Revolutions Per Minute/每分鐘轉速) 來評估磁片的性能:RPM 越大,平均定址時間更短,磁片性能越好。定址只是把磁頭移動到正確的磁軌上,然後才能讀取指定磁區的內容。換句話說,定址雖然很浪費時間,但其實它並沒有辦任何的正事(讀取磁片內容)。

從磁片讀取 1MB 連續資料需要 20ms,換算成人類時間是 20個月。IO 設備是電腦系統的瓶頸,希望讀到這裡你能更深切地理解這句話!如果還不理解,不妨想想你在網上買的東西,快遞送了將近兩年,你的心情是怎麼樣的。

而從世界上不同城市網路上走一個來回,平均需要 150ms(參考世界各地 ping 報文的時間CDN

虛擬機器重啟一次大約要 4s 時間,換算成人類的時間是 3百多年。對於此,我想到了約伯斯要死命優化 Mac 系統開機啟動時間

物理伺服器重啟一次需要 5min,換算成人類時間是 2萬5千年,快趕上人類的文明史了。5 分鐘人類都要等一會了,更別提 CPU 了,所以沒事不要亂重啟伺服器啊,分分鐘終結一個文明的節奏。

參考資料