【新科技訊】近日，英偉達(dá)在2023臺北電腦展大會上表示，旗下Grace Hopper超級芯片已經(jīng)全面投產(chǎn)。
Grace Hopper超級芯片是英偉達(dá)開發(fā)的基于ARM架構(gòu)的CPU+GPU集成方案，它將72核的Grace CPU、Hopper GPU、96GB的HBM3和512 GB的LPDDR5X集成在同一個封裝中，共有2000億個晶體管。這種組合提供了CPU和GPU之間驚人的數(shù)據(jù)帶寬，高達(dá)1TB/s。
DGX GH200通過定制的NVLink Switch System（包含36個NVLink開關(guān)）將256個GH200超級芯片和高達(dá)144TB的共享內(nèi)存連接成一個單元，避免標(biāo)準(zhǔn)集群連接選項（如 InfiniBand和以太網(wǎng)）的限制，這種新的互連方式使DGX GH200系統(tǒng)中的256個H100 GPU作為一個整體協(xié)同運行，使其成為了專為最高端的人工智能和高性能計算工作負(fù)載而設(shè)計的系統(tǒng)和參考架構(gòu)�？芍С�?jǐn)?shù)萬億參數(shù)AI大模型訓(xùn)練。
DGX GH200附帶的優(yōu)化的操作系統(tǒng)和集群管理器，使得管理大規(guī)模語言模型訓(xùn)練的復(fù)雜性大大降低。按照黃仁勛的說法：花費1000萬美金成本，你可以建置一個有960顆CPU的數(shù)據(jù)中心，但這個數(shù)據(jù)中心要11GWh的功率，處理1X LMM(大語言模型)的數(shù)據(jù)量。
DGX GH200還具有非常靈活的擴(kuò)展性和配置選項。用戶可以根據(jù)自己的需求選擇GPU、內(nèi)存、存儲、網(wǎng)絡(luò)等組件，并隨時添加更多的資源，實現(xiàn)彈性擴(kuò)展。
集成256個GH200芯片的DGX GH200超級計算機(jī)，內(nèi)存擴(kuò)大了500倍，超級算力提高了7倍。
據(jù)悉，谷歌云、Meta和微軟將有望成為首批通過接入DGX GH200系統(tǒng)，來探索其用于生成式AI工作負(fù)載的能力的公司。NVIDIA還打算將DGX GH200設(shè)計作為藍(lán)圖提供給云服務(wù)提供商和其他超大規(guī)模企業(yè)，以便他們能夠進(jìn)一步根據(jù)他們自己的基礎(chǔ)設(shè)施進(jìn)行定制。
