?微軟AI芯片Brainwave開放云端試用版 比TPU快5倍

智東西5月8日消息，昨天，微軟在Build大會期間宣布，開發(fā)者現(xiàn)在可以接入微軟Azure云，試用由Project Brainwave芯片計(jì)算平臺提供的AI服務(wù)。同時還發(fā)布了可部署于邊緣設(shè)備平臺的Project Brainwave內(nèi)測版。Project Brainwave計(jì)算平臺是微軟基于英特爾FPGA芯片打造的低延遲深度學(xué)習(xí)計(jì)算平臺。

微軟表示，與最流行的行業(yè)基準(zhǔn)相比，Project Brainwave可以將實(shí)時AI計(jì)算的延遲時間降到最小，并且成本控制在可接受的范圍。

（微軟工程師道格·伯格舉著Project Brainwave芯片）

一、Project Brainwave是什么？

Project Brainwave項(xiàng)目在去年8月23日于芯片行業(yè)論壇HotChips被微軟提出。微軟表示Project Brainwave計(jì)算平臺的目標(biāo)是：支持快速深度學(xué)習(xí)運(yùn)算，并支持開發(fā)人員對芯片進(jìn)行重構(gòu)。

微軟將Project Brainwave計(jì)算平臺的架構(gòu)分為三個層面：

1、高性能的分布式架構(gòu)（架構(gòu)層）

2、集成到FPGA中的硬件DNN引擎（硬件層）

3、針對訓(xùn)練好的模型，支持平滑部署的一套編譯器及運(yùn)行時環(huán)境（軟件環(huán)境）

去年提出Project Brainwave時，微軟表示，這個計(jì)算平臺將支持微軟Cognitive Toolkit和谷歌TensorFlow。。

今年3月，微軟為了測試Project Brainwave計(jì)算平臺的能力，讓自家的Bing搜索引擎接入了這個平臺，實(shí)驗(yàn)結(jié)果表明，Bing搜索引擎的能力提升了十倍。

昨天發(fā)布Project Brainwave試用版，是微軟首次通過云端向外部用戶提供FPGA AI專用芯片的能力。

二、Project Brainwave中FPGA芯片的意義是什么？

AI芯片對于AI的意義，可以看作發(fā)動機(jī)對于汽車意義。所以Project Brainwave計(jì)算平臺的能力強(qiáng)弱，取決于這個平臺所使用的芯片。

微軟表示，Project Brainwave計(jì)算平臺使用的FPGA芯片將使AI數(shù)據(jù)處理速度很快，相比谷歌使用的TPU芯片，F(xiàn)PGA芯片的處理速度快上了5倍。微軟說道：“該芯片為實(shí)時AI而設(shè)計(jì)——這意味著，它能以極低的延遲在接收數(shù)據(jù)后立刻處理請求。由于云平臺需要處理實(shí)時數(shù)據(jù)流，不管是搜索請求、視頻、傳感器數(shù)據(jù)流還是用戶交互，實(shí)時AI正在變得越來越重要?！?/p>

這種芯片的另一個優(yōu)勢在于，客戶企業(yè)將能夠根據(jù)自己的需求重新對芯片系統(tǒng)進(jìn)行設(shè)計(jì)，這是微軟為客戶提供更強(qiáng)靈活性服務(wù)策略的一部分。

三、FPGA芯片的優(yōu)劣勢

可見，在Project Brainwave項(xiàng)目中，微軟大力研發(fā)FPGA AI專用芯片，其他巨頭為了迎接即將到來的AI時代也進(jìn)行著各自的努力，例如谷歌TPU、英偉達(dá)GPU等等。那么，他們各自都有何特點(diǎn)呢？

1.英偉達(dá)GPU

GPU并不是近期才出現(xiàn)的，其實(shí)它就是你電腦中顯卡的核心部件，名字是圖形處理器。

目前，GPU在AI領(lǐng)域的應(yīng)用，都是采用“CPU+GPU”計(jì)算模型。

與CPU相比，CPU 由專為順序串行處理而優(yōu)化的幾個核心組成，GPU 擁有一個由數(shù)以千計(jì)的更小、更高效的核心（專為同時處理多重任務(wù)而設(shè)計(jì)）組成的大規(guī)模并行計(jì)算架構(gòu)。“CPU+GPU”計(jì)算模型能將應(yīng)用程序計(jì)算密集部分的工作負(fù)載轉(zhuǎn)移到 GPU，同時仍由 CPU 運(yùn)行其余程序代碼。從而提升運(yùn)算速度。

（“CPU+GPU”運(yùn)算示意圖）

但這種計(jì)算模型其實(shí)就是利用現(xiàn)有的成熟技術(shù)提供了一種通用級的解決方法來滿足AI深度學(xué)習(xí)的要求，而并不是一種針對性的專業(yè)解決方案。

2.谷歌TPU

TPU是谷歌專門為加速深層神經(jīng)網(wǎng)絡(luò)運(yùn)算能力而研發(fā)的一款芯片，目前主要運(yùn)用于模型建立以及定點(diǎn)推測。

TPU其實(shí)是一個ASIC（專用集成電路），ASIC是應(yīng)特定要求和特定電子系統(tǒng)的需要而設(shè)計(jì)、制造的集成電路。

通常而言，ASIC的開發(fā)需要耗時數(shù)年。但谷歌TPU從設(shè)計(jì)到驗(yàn)證、構(gòu)建和部署到數(shù)據(jù)中心里，只用了15個月。

除了開發(fā)部署時間短外，TPU在峰值性能上也較GPU有一定優(yōu)勢。GPU在單個時鐘周期內(nèi)，可以處理數(shù)百到數(shù)千次運(yùn)算。而TPU可以在單個時鐘周期內(nèi)處理數(shù)十萬次運(yùn)算。

同時，確定性是TPU專用用途帶來的另一個優(yōu)勢。CPU和GPU需要考慮各種任務(wù)上的性能優(yōu)化，因此會有越來越復(fù)雜的機(jī)制，帶來的副作用就是這些處理器的行為非常難以預(yù)測。而使用TPU能輕易預(yù)測運(yùn)行一個神經(jīng)網(wǎng)絡(luò)并得出模型與推測結(jié)果需要多長時間，這樣，就能讓芯片以吞吐量接近峰值的狀態(tài)運(yùn)行，同時嚴(yán)格控制延遲。

不過，TPU的性能優(yōu)勢使得它的靈活性較弱，這也是ASIC芯片的常見屬性。

3.靈活的FPGA

FPGA全稱是Field Programmable Gate Array：現(xiàn)場可編程門陣列。FPGA內(nèi)部集成大量的數(shù)字電路基本門電路和存儲器，用戶可以通過燒入配置文件來定義這些它們之間的連線，從而達(dá)到定制電路的目的。

通俗來說就是，對比TPU，TPU雖然也是基于特定需求設(shè)計(jì)的ASIC，但就好比是雕一尊雕像，雕好后不能再更改；而FPGA則是樂高積木，什么硬件電路都能模仿，而且能多次更改。

有了這個特點(diǎn)，F(xiàn)PGA的設(shè)計(jì)部署周期比TPU更短，只需要6個月左右，而且更加能靈活適應(yīng)多種需求。

而且，F(xiàn)PGA不像GPU依賴于馮·諾依曼結(jié)構(gòu)，一個計(jì)算得到的結(jié)果可以被直接饋送到下一個計(jì)算，無需在主存儲器臨時保存，因此不僅存儲器帶寬需求低，而且還具有流水處理的特點(diǎn)，大大減小了輸入與輸出的延時比。

FPGA的的架構(gòu)固然帶來了應(yīng)用上的靈活性，但是從執(zhí)行運(yùn)算的效率上來說，它又遠(yuǎn)遠(yuǎn)比不上ASIC。FPGA的運(yùn)算電路基于查找表，比如說，F(xiàn)PGA內(nèi)部有1000萬個自定義邏輯部件，一個4輸入的查找表單元需要96個晶體管來支持，而在ASIC上來實(shí)現(xiàn)估計(jì)只需要10個左右。這些問題也導(dǎo)致了FPGA芯片的面積更大、功耗更多。

四、AI芯片熱潮

看完以上各個巨頭研發(fā)的AI芯片優(yōu)劣勢，我們可以感到，目前，尚未出現(xiàn)某種芯片“獨(dú)步天下”的態(tài)勢，各種芯片都有其優(yōu)劣勢。

AI是下一次科技革命的核心技術(shù)，全球企業(yè)都紛紛在AI芯片上發(fā)力，期待著自己成為這個行業(yè)的領(lǐng)頭羊。外國企業(yè)熱火朝天，中國企業(yè)也不甘人后，現(xiàn)在已經(jīng)涌現(xiàn)地平線、寒武紀(jì)、深鑒科技、中天微等一批明星初創(chuàng)企業(yè)。數(shù)據(jù)顯示，僅去年下半年，在芯片制造巨頭臺積電的生產(chǎn)線上，就有超過30家AI芯片排隊(duì)等待流片。

眾多企業(yè)投身這個行業(yè)，我們或許可以期待今后能有一款芯片，在GPU、ASIC、FPGA芯片的優(yōu)缺點(diǎn)之間，找到高靈活性、強(qiáng)運(yùn)算能力、低能耗、低成本之間的平衡。