在快速發(fā)展、不斷發(fā)展的人工智能(AI) 領(lǐng)域，NVIDIA DGX GH200 成為創(chuàng)新的燈塔。這個(gè)強(qiáng)大的系統(tǒng)在設(shè)計(jì)時(shí)考慮了最苛刻的人工智能工作負(fù)載，是一套完整的解決方案，旨在徹底改變企業(yè)處理生成式人工智能的方式。NVIDIA 提供了新的詳細(xì)信息，展示了 GH200 如何結(jié)合在一起，并通過(guò)這種最新一代 GPU 技術(shù)實(shí)現(xiàn) AI 性能的巔峰。

NVIDIA DGX GH200：完整的解決方案

DGX GH200 不僅僅是一款精美的機(jī)架硬件;它還是一款出色的機(jī)架硬件。它是一個(gè)將高性能計(jì)算 (HPC) 與人工智能相結(jié)合的綜合解決方案。它旨在處理最復(fù)雜的人工智能工作負(fù)載，提供真正無(wú)與倫比的性能水平。

DGX GH200 將完整的硬件堆棧(包括 NVIDIA GH200 Grace Hopper Superchip、NVIDIA NVLink-C2C、NVIDIA NVLink 交換機(jī)系統(tǒng)和 NVIDIA Quantum-2 InfiniBand)整合到一個(gè)系統(tǒng)中。NVIDIA 通過(guò)專門為加速模型開(kāi)發(fā)而設(shè)計(jì)的優(yōu)化軟件堆棧來(lái)支持這一切。

NVIDIA GH200 Grace Hopper 超級(jí)芯片規(guī)格

NVIDIA Grace Hopper Superchip 配備擴(kuò)展 GPU 內(nèi)存 (EGM) 功能，旨在處理具有大量?jī)?nèi)存占用的應(yīng)用程序，這些內(nèi)存占用大于其自己的 HBM3 和 LPDDR5X 內(nèi)存子系統(tǒng)的容量。此功能允許 GPU 從系統(tǒng)中的所有 CPU 和 GPU 訪問(wèn)高達(dá) 144TB 的內(nèi)存，并可以以 LPDDR5X 速度進(jìn)行數(shù)據(jù)加載、存儲(chǔ)和原子操作。EGM 可與標(biāo)準(zhǔn) MAGNUM IO 庫(kù)配合使用，并且可由 CPU 和其他 GPU 通過(guò) NVIDIA NVLink 和 NVLink-C2C 連接進(jìn)行訪問(wèn)。

NVIDIA 表示，NVIDIA Grace Hopper Superchip 上的擴(kuò)展 GPU 內(nèi)存 (EGM) 功能通過(guò)提供巨大的內(nèi)存容量，顯著增強(qiáng)了大型語(yǔ)言模型 (LLM) 的訓(xùn)練。這是因?yàn)榉▽W(xué)碩士通常需要大量?jī)?nèi)存來(lái)存儲(chǔ)其參數(shù)、計(jì)算和管理訓(xùn)練數(shù)據(jù)集。

能夠從系統(tǒng)中的所有 CPU 和 GPU 訪問(wèn)高達(dá) 144TB 的內(nèi)存，可以更高效地訓(xùn)練模型。大內(nèi)存容量應(yīng)該會(huì)帶來(lái)更高的性能、更復(fù)雜的模型，以及處理更大、更詳細(xì)的數(shù)據(jù)集的能力，從而有可能提高這些模型的準(zhǔn)確性和實(shí)用性。

NVLink 開(kāi)關(guān)系統(tǒng)

隨著大型語(yǔ)言模型 (LLM) 的需求不斷突破網(wǎng)絡(luò)管理的界限，NVIDIA 的 NVLink 交換機(jī)系統(tǒng)仍然是一個(gè)強(qiáng)大的解決方案。該系統(tǒng)利用第四代 NVLink 技術(shù)和第三代 NVSwitch 架構(gòu)的強(qiáng)大功能，為 DGX GH200 系統(tǒng)中令人印象深刻的 256 個(gè) NVIDIA Grace Hopper 超級(jí)芯片提供高帶寬、低延遲連接。結(jié)果是驚人的 25.6 Tbps 全雙工帶寬，標(biāo)志著數(shù)據(jù)傳輸速度的大幅飛躍。

在 DGX GH200 系統(tǒng)中，每個(gè) GPU 本質(zhì)上都是一個(gè)愛(ài)管閑事的鄰居，能夠刺探 NVLink 網(wǎng)絡(luò)上其他 GPU 的 HBM3 和 LPDDR5X 內(nèi)存。與 NVIDIA Magnum IO 加速庫(kù)相結(jié)合，這個(gè)“愛(ài)管閑事的鄰居”可以優(yōu)化 GPU 通信，有效地?cái)U(kuò)展并加倍降低有效網(wǎng)絡(luò)帶寬。因此，雖然你的法學(xué)碩士培訓(xùn)正在增壓，溝通費(fèi)用也在增加，但人工智能操作正在得到渦輪增壓。

DGX GH200 中的 NVIDIA NVLink 開(kāi)關(guān)系統(tǒng)能夠通過(guò)促進(jìn)大量 GPU 之間的高帶寬、低延遲連接，顯著增強(qiáng) LLM 等模型的訓(xùn)練。這使得 GPU 之間的數(shù)據(jù)共享更快、更高效，從而提高模型的訓(xùn)練速度和效率。此外，每個(gè) GPU 都能夠從 NVLink 網(wǎng)絡(luò)上的其他超級(jí)芯片訪問(wèn)對(duì)等內(nèi)存，從而增加了可用內(nèi)存，這對(duì)于大參數(shù) LLM 至關(guān)重要。

雖然 Grace Hopper 超級(jí)芯片令人印象深刻的性能無(wú)疑是人工智能計(jì)算領(lǐng)域的游戲規(guī)則改變者，但該系統(tǒng)的真正魔力發(fā)生在 NVLink，其中跨多個(gè) GPU 的高帶寬、低延遲連接可實(shí)現(xiàn)數(shù)據(jù)共享和效率達(dá)到一個(gè)全新的水平。