RM新时代网站-首页

                0
                • 聊天消息
                • 系統消息
                • 評論與回復
                登錄后你可以
                • 下載海量資料
                • 學(xué)習在線(xiàn)課程
                • 觀(guān)看技術(shù)視頻
                • 寫(xiě)文章/發(fā)帖/加入社區
                會(huì )員中心
                創(chuàng )作中心

                完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

                3天內不再提示

                NVIDIA最新GPU帶動(dòng),液冷服務(wù)器市占有望從1%提升到15%

                花茶晶晶 ? 來(lái)源:電子發(fā)燒友網(wǎng) ? 作者:黃晶晶 ? 2024-06-14 09:11 ? 次閱讀

                電子發(fā)燒友網(wǎng)報道(文/黃晶晶)數據中心向來(lái)是耗電大戶(hù),過(guò)去出于更經(jīng)濟的考慮氣冷型服務(wù)器占據主流,如今隨著(zhù)大語(yǔ)言模型的快速發(fā)展以及Meta的Llama-3和Mistral的Mixtral 8x22B等開(kāi)源模型不斷推出,采用液冷技術(shù)的總擁有成本效益更加突出。未來(lái)液冷服務(wù)器的比重將顯著(zhù)上升。

                液冷產(chǎn)品簡(jiǎn)化AI基礎設施


                最近,Supermicro推出可立即部署式液冷型AI數據中心,此數據中心專(zhuān)為云原生解決方案而設計,通過(guò)SuperCluster加速各界企業(yè)對生成式AI的運用,并針對NVIDIA AI Enterprise軟件平臺優(yōu)化,適用于生成式AI的開(kāi)發(fā)與部署。

                Supermicro的SuperCluster解決方案針對LLM訓練、深度學(xué)習以及大規模與大批量推理優(yōu)化Supermicro的SuperCluster支持NVIDIA AI Enterprise,其中包括NVIDIA NIM微服務(wù)和NVIDIA NeMo平臺,能實(shí)現端對端生成式AI客制,并針對NVIDIA Quantum-2 InfiniBand以及具有每GPU 400Gb/s網(wǎng)速的新型NVIDIA Spectrum-X以太網(wǎng)絡(luò )平臺優(yōu)化,可擴展到具有數萬(wàn)個(gè)GPU的大型計算叢集。

                通過(guò)Supermicro的4U液冷技術(shù),NVIDIA近期推出的Blackwell GPU能在單一GPU上充分發(fā)揮20 PetaFLOPS的AI性能,且與較早的GPU相比,能提供4倍的AI訓練性能與30倍的推理性能,并節省額外成本。

                Supermicro總裁兼首席執行官梁見(jiàn)后表示,我們的解決方案針對NVIDIA AI Enterprise軟件優(yōu)化,滿(mǎn)足各行各業(yè)的客戶(hù)需求,并提供世界規模級效率的全球制造產(chǎn)能。因此我們得以縮短交付時(shí)間,更快提供搭配N(xiāo)VIDIA HGX H100和H200,以及即將推出的B100、B200和GB200解決方案的可立即使用型液冷或氣冷計算叢集。



                液冷型被越來(lái)越多的采用


                Supermicro提供的數據中心的液冷配置設計可幾近免費,并通過(guò)能持續降低用電量的優(yōu)勢為客戶(hù)提供額外價(jià)值。采用液冷方案的整體擁有成本將非??捎^(guān),例如來(lái)自于后期運營(yíng)過(guò)程當中的電力消耗的減少,5年可以節省高達6000萬(wàn)美元的電費支出。Supermicro從液冷板到CDU乃至冷卻塔,其機柜級全方位液冷解決方案最大可以降低數據中心40%的持續用電量。

                液冷并非新的技術(shù),它存在已經(jīng)超過(guò)30年,不過(guò)在采訪(fǎng)中,梁見(jiàn)后表示,之前液冷方案需求量小,并且交期長(cháng)約4-12個(gè)月,以小型OEM為主。如今,Supermicro與客戶(hù)重新進(jìn)行子系統和組件設計來(lái)提升數據中心的性能,并改善了交期,滿(mǎn)足更快的交付要求。

                今年以來(lái),客戶(hù)要求新建數據中心時(shí)直接采用液冷方案,也希望將舊有的氣冷數據中心部分轉換成液冷配置。在此需求刺激下,公司液冷業(yè)務(wù)的增長(cháng)非???,產(chǎn)能處于供不應求的狀態(tài)。

                公司在荷蘭、美國和馬來(lái)西亞等全球各地擴大生產(chǎn)規模,預計2-3個(gè)月內馬來(lái)西亞新廠(chǎng)區即可投產(chǎn)。產(chǎn)能爬坡,供應能力增加,令客戶(hù)享受更低成本的初始投資方案以及更低的總擁有成本。

                隨著(zhù)大語(yǔ)言模型的服務(wù)器集群的需求增長(cháng),液冷方案有望成為主流。過(guò)去三十年液冷的市場(chǎng)份額估計都不到1%,但數據中心對液冷方案的采用逐漸增多,這一市占有望提高到15%以上。

                不斷拓展液冷型產(chǎn)品線(xiàn)


                NVIDIA創(chuàng )始人兼首席執行官黃仁勛對于Supermicro的設計給出高度評價(jià),他表示生成式AI正在推動(dòng)整個(gè)計算堆棧的重置,新的數據中心將會(huì )通過(guò)GPU進(jìn)行計算加速,并針對AI優(yōu)化。Supermicro設計了頂尖的NVIDIA加速計算和網(wǎng)絡(luò )解決方案,使價(jià)值數兆美元的全球數據中心能夠針對AI時(shí)代優(yōu)化。

                Supermicro目前的生成式AI SuperCluster液冷型產(chǎn)品包括Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256個(gè)H100/H200 GPU,為5個(gè)機柜規模的可擴展計算單元(包括1 個(gè)專(zhuān)用網(wǎng)絡(luò )機柜)。即將推出的SuperCluster液冷型產(chǎn)品包括Supermicro NVIDIA HGX B200 SuperCluster液冷型,Supermicro NVIDIA GB200 NVL72 或NVL36 SuperCluster液冷型。

                當然除了液冷型之外,也推出了氣冷型產(chǎn)品,例如氣冷型Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256個(gè)HGX H100/H200 GPU,為9個(gè)機柜規模的可擴展計算單元(包括1個(gè)專(zhuān)用網(wǎng)絡(luò )機柜),以及后續將推出的Supermicro NVIDIA HGX B100/B200 SuperCluster氣冷型。

                Supermicro是主流的AI 服務(wù)器制造商之一。受益于 ChatGPT 引發(fā)的人工智能熱潮,再加上與英偉達的密切合作,這兩年Supermicro業(yè)績(jì)飆升,并受到資本市場(chǎng)的追捧。如今,Supermicro的液冷服務(wù)器技術(shù)直擊 AI 處理器功耗高的痛點(diǎn),技術(shù)創(chuàng )新和產(chǎn)能提升下,公司的液冷服務(wù)器業(yè)務(wù)將成為強勁的成長(cháng)動(dòng)力。

                聲明:本文內容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權轉載。文章觀(guān)點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習之用,如有內容侵權或者其他違規問(wèn)題,請聯(lián)系本站處理。 舉報投訴
                • NVIDIA
                  +關(guān)注

                  關(guān)注

                  14

                  文章

                  4670

                  瀏覽量

                  102067
                • gpu
                  gpu
                  +關(guān)注

                  關(guān)注

                  27

                  文章

                  4490

                  瀏覽量

                  127352
                • Supermicro
                  +關(guān)注

                  關(guān)注

                  0

                  文章

                  26

                  瀏覽量

                  9230
                • 液冷
                  +關(guān)注

                  關(guān)注

                  4

                  文章

                  71

                  瀏覽量

                  4803
                收藏 人收藏

                  評論

                  相關(guān)推薦

                  基于ESP32S進(jìn)行BLE MESH開(kāi)發(fā),基于的是BLE4.2,是否可以提升到BLE5.0?

                  1.現在基于ESP32S進(jìn)行BLE MESH開(kāi)發(fā),基于的是BLE4.2,是否可以提升到BLE5.0? 2.BLE4.2是否可以接收到BLE5.0 Beacon?Code: Select all
                  發(fā)表于 06-12 07:49

                  新手小白怎么學(xué)GPU服務(wù)器跑深度學(xué)習?

                  新手小白想用GPU服務(wù)器跑深度學(xué)習應該怎么做? 用個(gè)人主機通常pytorch可以跑但是LexNet,AlexNet可能就直接就跑不動(dòng),如何實(shí)現更經(jīng)濟便捷的實(shí)現GPU服務(wù)器深度學(xué)習?
                  發(fā)表于 06-11 17:09

                  PUE的拯救者,液冷服務(wù)器

                  下,要想借助GPU密集的計算集群打造智算網(wǎng)絡(luò ),是肯定不能在散熱上馬虎的。為此,自19年起組建開(kāi)展商業(yè)化應用的液冷服務(wù)器,開(kāi)始慢慢搶占更多的市場(chǎng)份額。 ? 液冷的必要性 ? 隨著(zhù)英偉達B
                  的頭像 發(fā)表于 06-06 00:23 ?1856次閱讀
                  PUE的拯救者,<b class='flag-5'>液冷</b><b class='flag-5'>服務(wù)器</b>

                  利用NVIDIA組件提升GPU推理的吞吐

                  本實(shí)踐中,唯品會(huì ) AI 平臺與 NVIDIA 團隊合作,結合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)將推理的稠密網(wǎng)絡(luò )和熱 Embedding 全置于
                  的頭像 發(fā)表于 04-20 09:39 ?275次閱讀

                  gpu服務(wù)器是干什么的 gpu服務(wù)器與cpu服務(wù)器的區別有哪些

                  gpu服務(wù)器是干什么的 gpu服務(wù)器與cpu服務(wù)器的區別 GPU
                  的頭像 發(fā)表于 01-30 15:31 ?424次閱讀

                  浪潮信息與英特爾聯(lián)合發(fā)布全球首個(gè)全液冷冷板服務(wù)器參考設計

                  北京2024年1月19日?/美通社/ -- 1月18日,浪潮信息與英特爾聯(lián)合發(fā)布全球首個(gè)全液冷冷板服務(wù)器參考設計,并面向業(yè)界開(kāi)放,為全球液冷產(chǎn)業(yè)鏈上下游提供極具價(jià)值的參考樣板,推動(dòng)先進(jìn)全液冷
                  的頭像 發(fā)表于 01-19 16:52 ?298次閱讀
                  浪潮信息與英特爾聯(lián)合發(fā)布全球首個(gè)全<b class='flag-5'>液冷</b>冷板<b class='flag-5'>服務(wù)器</b>參考設計

                  利用NVIDIA產(chǎn)品技術(shù)組合提升用戶(hù)體驗

                  本案例通過(guò)利用NVIDIA TensorRT-LLM加速指令識別深度學(xué)習模型,并借助NVIDIA Triton推理服務(wù)器NVIDIA V100 G
                  的頭像 發(fā)表于 01-17 09:30 ?419次閱讀

                  超微gpu服務(wù)器評測

                  對超微GPU服務(wù)器進(jìn)行評測。 一、超微GPU服務(wù)器概述 超微GPU服務(wù)器是一種基于超微
                  的頭像 發(fā)表于 01-10 10:37 ?765次閱讀

                  液冷服務(wù)器行業(yè)分類(lèi)及產(chǎn)業(yè)鏈分析

                  中國液冷服務(wù)器行業(yè)市場(chǎng)規模將持續高速增長(cháng),其原因在于:1. 國家綠色能源和可持續發(fā)展扶持政策,推動(dòng)液冷服務(wù)器廣泛應用。2. 數字化轉型促進(jìn)液冷
                  的頭像 發(fā)表于 12-18 14:13 ?1798次閱讀
                  <b class='flag-5'>液冷</b><b class='flag-5'>服務(wù)器</b>行業(yè)分類(lèi)及產(chǎn)業(yè)鏈分析

                  液冷服務(wù)器發(fā)展歷程及產(chǎn)業(yè)鏈分析

                  根據散熱方法,可以將液冷服務(wù)器分為直接液冷和間接液冷兩類(lèi)。其中直接液冷包括噴淋式液冷系統和浸沒(méi)式
                  的頭像 發(fā)表于 12-04 11:24 ?1893次閱讀
                  <b class='flag-5'>液冷</b><b class='flag-5'>服務(wù)器</b>發(fā)展歷程及產(chǎn)業(yè)鏈分析

                  gpu服務(wù)器是干什么的 gpu服務(wù)器與cpu服務(wù)器的區別

                   相比于傳統的CPU服務(wù)器,GPU服務(wù)器支持同時(shí)計算大量相似的計算操作,可以實(shí)現更強的并行計算性能。GPU服務(wù)器通常配備多個(gè)高性能的
                  的頭像 發(fā)表于 12-02 17:20 ?1419次閱讀

                  5V脈沖信號怎么可以提升到28V脈沖?

                  PCF8591,5V脈沖信號怎么可以提升到28V脈沖?
                  發(fā)表于 10-25 08:29

                  請問(wèn)單片機如何控制5V脈沖信號提升到28V脈沖?

                  單片機如何控制5V脈沖信號提升到28V脈沖?
                  發(fā)表于 10-20 06:23

                  全球領(lǐng)先系統制造商推出 NVIDIA AI 就緒型服務(wù)器,為企業(yè)大幅提升生成式 AI 性能

                  戴爾科技、慧與和聯(lián)想即將推出采用 NVIDIA L40S GPUNVIDIA BlueField 的服務(wù)器,以支持 VMware Private AI Foundation
                  的頭像 發(fā)表于 08-23 19:10 ?418次閱讀

                  GPU服務(wù)器是什么?

                  從字面上來(lái)看GPU服務(wù)器服務(wù)器當中的一種,簡(jiǎn)單的介紹,GPU服務(wù)器就是基于CGP的應用在視頻編解碼,深度學(xué)習,科學(xué)計算等多場(chǎng)景穩定快速,穩
                  的頭像 發(fā)表于 08-01 18:03 ?700次閱讀
                  RM新时代网站-首页

                                RM新时代官方 RM新时代手机版 RM新时代官网 RM新时代官网 RM新时代手机版下载

                                              RM新时代反波胆平台有限公司 RM新时代反波胆33能稳多久 RM新时代平台靠谱平台入口-百度知道 新时代手机平台官网 RM新时代有限公司 RM新时代|官方理财平台 RM新时代反波 rm新时代反波胆平台 RM新时代成立多久了 RM新时代首页