【財訊快報／記者李純君報導】NVIDIA今日宣布，推出NVIDIA NVHBM，這是新一代高頻寬記憶體技術，相較於標準HBM4E，NVHBM可提供最高提升30%的記憶體頻寬，並降低15%的HBM功耗，同時在XPU運算晶片上釋放多達25%的面積。而Amazon 旗下的Annapurna Labs將成為首家參與NVHBM技術合作的公司。

隨著AI代理與兆級參數工作負載逐漸成為主流，AI基礎設施的效能不僅取決於運算能力，更取決於運算、記憶體、儲存、網路與軟體能否共同設計為一個統一的系統。為協助超大規模雲端服務供應商與AI創新業者打造下一代半客製化AI基礎設施，NVIDIA今日透過NVIDIA NVHBM擴展了NVIDIA NVLink Fusion。

NVHBM是新一代高頻寬記憶體技術，能為XPU帶來更高的記憶體效能與效率。此技術將由記憶體合作夥伴進行驗證並提供，讓NVLink Fusion客戶也能採用這項先進記憶體技術。

傳統的HBM架構將記憶體控制器置於XPU晶片上，會占用原本可用於運算的寶貴晶片面積。NVHBM基於NVIDIA未來GPU將採用的相同技術，將NVIDIA的客製化記憶體控制器整合至HBM基底晶片之中。透過將記憶體控制器整合至3D HBM堆疊，而非置於XPU上，NVHBM相較於標準HBM4E，可讓記憶體頻寬最高提升30%、HBM功耗降低15%，並為XPU運算晶片釋放多達25%的面積。

NVIDIA正建立標準化的NVHBM實現方案，並由多家記憶體供應商提供，讓NVLink Fusion客戶能更快將客製化AI晶片推向市場。而Amazon旗下Annapurna Labs將率先與NVIDIA合作開發NVHBM，作為雙方擴大NVLink Fusion合作的一部分。

Amazon旗下的Annapurna Labs將與NVIDIA合作，共同開發NVHBM技術與NVLink垂直擴充架構，以提升AI工作負載的效能與效率。這延續AWS先前宣布對NVLink Fusion的支援。Annapurna Labs將從Trainium4起，在新一代Trainium晶片中支援NVLink Fusion，讓Amazon晶片與NVIDIA GPU能夠在共通的機架級架構下協同運作。

Amazon Annapurna Labs副總裁Nafea Bshara表示：「NVHBM代表了一種提升高頻寬記憶體效能與效率的全新架構方式。我們期待透過這項技術合作，為AWS未來的基礎設施設計帶來助益。」NVLink Fusion讓合作夥伴能夠將客製化的XPU 和CPU連接至NVIDIA的機架級平台。