四年前, 穀歌面臨一道難題, 如果每個使用者每天都會花費三分鐘時間來使用語音辨識服務的話, 那麼公司將不得不將資料中心規模再翻一倍, 以便處理海量的語音資料和AI計算。
不過為了滿足這樣的需求, 穀歌並沒有去建設更大的資料中心, 而是轉為開發適用於AI計算的高性能轉用硬體。
最終, 名為TPU(Tensor Processing Unit)的處理器誕生了, 其是一種專門為加速深層神經網路運算能力而研發的晶片。
今天, 穀歌在一篇博文中提到了在TPU上所取得的一系列成績。
穀歌表示, 相比類似的伺服器級Intel Haswell CPU和NVIDIA K80 GPU, TPU在AI運算測試中的平均速度要快15-30倍。
穀歌資料中心自2015年以來一直在使用TPU來加速AI服務, 而且首獲了理想的效果, 其能夠更快的處理用戶發送的請求, 降低結果回饋的延遲。
值得一提的是, 穀歌認為現在的TPU仍在硬體和軟體方面存在很大的優化空間, 比如假定用上了NVIDIA K80 GPU中的GDDR5記憶體, 那麼TPU就可以發揮出更好的性能。
此外, 谷歌工程師還為TPU開發了名為CNN1的軟體, 其可以讓TPU的運行速度比普通CPU高出70多倍!