目前GPU深度學(xué)習(xí)服務(wù)器在AI、視頻處理、科學(xué)計(jì)算等領(lǐng)域都有廣泛應(yīng)用。隨著NVIDIA推出更多的GPU硬件和工具軟件，如何配置一臺屬于自己的GPU服務(wù)器，在開發(fā)者的工作中成為了重中之重。

現(xiàn)今，日益完善的深度學(xué)習(xí)技術(shù)和-AI-服務(wù)愈加受到市場青睞。與此同時，數(shù)據(jù)集不斷擴(kuò)大，計(jì)算模型和網(wǎng)絡(luò)也變得越來越復(fù)雜，這對于硬件設(shè)備也提出了更為嚴(yán)苛的需求。如何利用有限的預(yù)算，最大限度升級系統(tǒng)整體的計(jì)算性能和數(shù)據(jù)傳輸能力成為了最為重要的問題。

GPU的重要性在于：

DL中的大多數(shù)計(jì)算是矩陣運(yùn)算，如矩陣乘法。如果在CPU上完成，它們可能很慢。

由于我們在一個典型的神經(jīng)網(wǎng)絡(luò)中進(jìn)行了數(shù)千次這樣的操作，因此慢速度真的加起來就更慢了。

GPU相當(dāng)方便地能夠并行運(yùn)行所有這些操作。它們有大量的內(nèi)核，可以運(yùn)行更多的線程。

GPU還具有更高的內(nèi)存帶寬，使其能夠一次對一堆數(shù)據(jù)執(zhí)行這些并行操作。

GPU-的選擇

熟悉深度學(xué)習(xí)的人都知道，深度學(xué)習(xí)是需要訓(xùn)練的，所謂的訓(xùn)練就是在成千上萬個變量中尋找最佳值的計(jì)算。這需要通過不斷的嘗試識別，而最終獲得的數(shù)值并非是人工確定的數(shù)字，而是一種常態(tài)的公式。通過這種像素級的學(xué)習(xí)，不斷總結(jié)規(guī)律，計(jì)算機(jī)就可以實(shí)現(xiàn)像人一樣思考。因而，更擅長并行計(jì)算和高帶寬的-GPU，則成了大家關(guān)注的重點(diǎn)。

GPU-一個比較重要的優(yōu)勢就是他的內(nèi)存結(jié)構(gòu)。首先是共享內(nèi)存。在-NVIDIA-披露的性能參數(shù)中，每個流處理器集群末端設(shè)有共享內(nèi)存。相比于-CPU-每次操作數(shù)據(jù)都要返回內(nèi)存再進(jìn)行調(diào)用，GPU-線程之間的數(shù)據(jù)通訊不需要訪問全局內(nèi)存，而在共享內(nèi)存中就可以直接訪問。這種設(shè)置的帶來最大的好處就是線程間通訊速度的提高（速度：共享內(nèi)存>>全局內(nèi)存）。

而在傳統(tǒng)的CPU構(gòu)架中，盡管有高速緩存（Cache）的存在，但是由于其容量較小，大量的數(shù)據(jù)只能存放在內(nèi)存（RAM）中。進(jìn)行數(shù)據(jù)處理時，數(shù)據(jù)要從內(nèi)存中讀取然后在-CPU-中運(yùn)算最后返回內(nèi)存中。由于構(gòu)架的原因，二者之間的通信帶寬通常在-60GB/s-左右徘徊。與之相比，大顯存帶寬的-GPU-具有更大的數(shù)據(jù)吞吐量。在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，必然帶來更大的優(yōu)勢。

另一方面，如果要充分利用-GPU-資源處理海量數(shù)據(jù)，需要不斷向-GPU-注入大量數(shù)據(jù)。目前，PCIe-的數(shù)據(jù)傳輸速度還無法跟上這一速度，如果想避免此類“交通擁堵”，提高數(shù)據(jù)傳輸速度可以選擇應(yīng)用-NVlink-技術(shù)的--GPU-卡片。

NVLink-是目前最快的-GPU-高速互聯(lián)技術(shù)，借助這種技術(shù)，GPU-和-CPU-彼此之間的數(shù)據(jù)交換速度要比使用PCIe 時快-5-到-12-倍，應(yīng)用程序的運(yùn)行速度可加快兩倍。通過-NVLink 連接兩個-GPU-可使其通信速度提高至-80-GB/s，比之前快了-5-倍。

其中-Nvidia-的-Volta-架構(gòu)計(jì)算卡使用的-NVLink-2.0-技術(shù)速度更快（20-25Gbps），單通道可提供-50-GB/S-的顯存帶寬。

而且就目前而言，越來越多的深度學(xué)習(xí)標(biāo)準(zhǔn)庫支持基于-GPU-的深度學(xué)習(xí)加速，通俗點(diǎn)描述就是深度學(xué)習(xí)的編程框架會自動根據(jù)-GPU-所具有的線程/Core-數(shù)，去自動分配數(shù)據(jù)的處理策略，從而達(dá)到優(yōu)化深度學(xué)習(xí)的時間。而這些軟件上的全面支持也是其它計(jì)算結(jié)構(gòu)所欠缺的。

簡單來看，選擇-GPU-有四個重要參數(shù)：浮點(diǎn)運(yùn)算能力、顯存、數(shù)據(jù)傳輸與價格。

對于很多科學(xué)計(jì)算而言，服務(wù)器性能主要決定于-GPU-的浮點(diǎn)運(yùn)算能力。特別是對深度學(xué)習(xí)任務(wù)來說，單精浮點(diǎn)運(yùn)算以及更低的半精浮點(diǎn)運(yùn)算性能則更為重要。如果資金充足的情況下，可以選擇應(yīng)用-NVLink-技術(shù)單精計(jì)算性能高、顯存大的-GPU-卡片。如果資金有限的話，則要仔細(xì)考量核心需求，選擇性價比更高的-GPU-卡片。

內(nèi)存大小的選擇

心理學(xué)家告訴我們，專注力這種資源會隨著時間的推移而逐漸耗盡。內(nèi)存就是為數(shù)不多的，讓你保存注意力資源，以解決更困難編程問題的硬件之一。與其在內(nèi)存瓶頸上兜轉(zhuǎn)，浪費(fèi)時間，不如把注意力放在更加緊迫的問題上。如果你有更多的內(nèi)存，有了這一前提條件，你可以避免那些瓶頸，節(jié)約時間，在更緊迫問題上投入更多的生產(chǎn)力。

所以，如果資金充足而且需要做很多預(yù)處理工作，應(yīng)該選擇至少和-GPU-內(nèi)存大小相同的內(nèi)存。雖然更小的內(nèi)存也可以運(yùn)行，但是這樣就需要一步步轉(zhuǎn)移數(shù)據(jù)，整體效率上則大打則扣�？偟膩碚f內(nèi)存越大，工作起來越舒服。

強(qiáng)大的性能

R4220-8GX 是一款基于Intel® Xeon® 可擴(kuò)展處理器的高性能計(jì)算平臺，支持8個NVLINK GPU加速器和6TB的內(nèi)存，單精度浮點(diǎn)計(jì)算224TFLOPS、雙精度浮點(diǎn)計(jì)算112TFLOPS, 讓用戶體驗(yàn)強(qiáng)大的計(jì)算性能。

靈活的配置

為更加貼切的滿足各種應(yīng)用需求，客戶可根據(jù)需求選擇支持16個2.5寸SATA/SAS硬盤，網(wǎng)絡(luò)選擇多樣化，可選擇支持雙千兆、四千兆、雙千兆+雙萬兆搭配，所有網(wǎng)絡(luò)支持管理復(fù)用，滿足各種不同的網(wǎng)絡(luò)應(yīng)用場景。

優(yōu)化的散熱

整機(jī)結(jié)構(gòu)布局充分考慮優(yōu)化散熱和節(jié)約功耗，支持高溫環(huán)境。關(guān)鍵部件根據(jù)發(fā)熱量采用特殊設(shè)計(jì)，在保持性能的同時可以降低風(fēng)扇轉(zhuǎn)速，從而減低功耗和噪音。

合理的擴(kuò)展

在支持4-8塊NVLINK的同時，還可有1個PCI-E插槽可用，可擴(kuò)展100Gb infiniband HCA、Nvme SSD等、具有非常好的靈活性和兼容性。

便捷的管理

具備IPMI 遠(yuǎn)程管理功能，實(shí)現(xiàn)非現(xiàn)場即可監(jiān)控管理服務(wù)器要求，具有監(jiān)控系統(tǒng)各部件的運(yùn)行狀況、遠(yuǎn)程安裝操作系統(tǒng)、故障報警等功能。極大的縮減了維護(hù)開銷。

也可以企業(yè)采購浪潮等公司的GPU一體化方案服務(wù)器來實(shí)施部署學(xué)習(xí)訓(xùn)練應(yīng)用，從而使得數(shù)據(jù)私有化和安全化。

本文鏈接：http://m.51huadong.com/servernews/11008688.html