top of page

人工智慧運算的成本競爭已超越晶片規格

3小时前
讀畢需時 5 分鐘

兩座資料中心採購相同數量的加速晶片,可能得到截然不同的訓練成本。一座機房讓處理器大部分時間都在計算,另一座則在等待資料、交換中間結果與重新啟動失敗的工作。晶片規格表上的峰值運算能力沒有改變,企業完成一輪模型訓練所需的日數、電費與工程時間卻可能差距巨大。AI產業愈擴大運算設施,這種差異便愈難藏在單一晶片的效能數字之中。


11月16日,MLCommons公布MLPerf Training v6.1結果,24個機構提交訓練系統資料。Google揭露其Ironwood TPU參測配置涵蓋640、2,048、4,096到8,192顆加速器,另有不同規模的GPU系統;MLCommons也記錄以NVIDIA GB300與Azure GB200為核心、規模達10,240顆GPU的測試。這些數字顯示訓練叢集的規模持續擴大,卻不能直接推出『晶片愈多的公司愈便宜』。每個結果對應的模型、工作負載、軟體與硬體安排,必須先相同才適合互比。


MLPerf Training的設計本來就不是比較晶片峰值FLOPS。參測系統必須完成指定模型的訓練目標,Closed組對模型與品質標準設有共同要求,讓不同團隊能在較一致的任務下測試完成時間。v6.1又增列推薦系統工作負載DLRMv4-HSTU,以及大型語言模型Qwen3.5-397B的後訓練任務。推薦、預訓練與後訓練各自消耗不同的記憶體、通訊與運算資源,把不同項目挑出一個最快成績排名,並不能回答企業該買哪一套系統。


平行晶片增加時通訊成本也會增長


訓練大型模型並不是把工作均分給一萬顆晶片,等它們各自算完再加總即可。某些運算可在不同處理器獨立完成,另一些則需要頻繁同步參數、交換梯度或傳送不同專家模型的中間結果。只要等待網路的時間占比提高,增加加速器就可能換到愈來愈少的訓練時間縮減。大型模型的實際瓶頸,經常移到資料搬運、記憶體容量與集體通訊協定。


假設兩套設備運行同一種訓練任務,甲系統使用一百顆加速器耗時二十四小時,乙系統加倍到兩百顆卻仍要十八小時,總加速器時數由二千四百增加到三千六百,增幅為百分之五十。乙系統雖然縮短交付日程,若每顆加速器時價相同,純計算租用成本反而提高。以上數字並非MLPerf實測結果。訓練時間縮短,也不必然意味總成本下降。


工程師因此會在平行化方案、記憶體配置、資料壓縮、計算精度以及故障復原設計之間交易。這些選擇可能讓某一套晶片在特定模型表現極佳,轉到另一種模型卻失去優勢。MLCommons的技術分析也強調不同工作負載中,系統規模與演算法優化的作用各不相同。真正要測量的是每一項任務從開始到達到指定品質所耗用的全部資源,而不是挑一家供應商最漂亮的展示數字。


Google參測的Ironwood系統與採用NVIDIA GPU的系統,除了處理器架構差異,還有不同的網路拓樸、編譯工具、數值格式、記憶體管理及模型分割策略。若客戶要把現有程式轉往另一平台,除了測試執行速度,還必須付出重寫函式、調整訓練流程、建立監控與重新確認模型品質的工程成本。晶片採購價格只是總支出的其中一張帳單。


當軟硬體一起最佳化企業的退出成本也會升高


垂直整合的優勢是研發團隊能同時設計加速器、網路、框架與雲端服務,縮短不同元件間的磨合。它可能提高設備利用率,讓供應商用相同資本投入完成更多訓練工作。但整套工具若依賴專有程式介面、特殊網路及自家編譯器,客戶已經為某種硬體投入的模型調校與團隊知識,也會形成移轉成本。


平台供應商因此取得兩種不同的收益:一是每次訓練服務的直接費用,二是讓既有客戶不願重新投入遷移工程的關係黏著。當訓練需求增加、供給緊張,供應商可能把部分系統效率優勢留在價格裡,而非全部轉成客戶節省。企業為避免過度依附單一平台,又會投資通用框架、抽象化層或多供應商備援。這些額外投資降低被鎖定的風險,短期卻增加了開發成本,形成系統效率與議價自主之間的第二輪權衡。


這種情況與傳統企業資訊系統相似。資料庫可以因為與應用程式緊密配合而運作得更快,也可能因特殊語法與資料格式讓客戶難以轉換;大型資料中心則更進一步把程式依附性與實體互連網路結合。比較不是說AI加速器會像每一套資料庫一樣被鎖住,而是檢驗同一個機制:專用最佳化帶來效能收益,誰又因此掌握未來的替換選擇權。


當加速器數量達到上千、上萬顆時,電力、冷卻與故障率同樣不可忽略。即使單顆晶片在實驗室達到很高能效,資料中心仍需為網路、儲存、散熱及備援供電。假如一套方案的訓練時間縮短三成,卻需要更大功率的網路交換設備和更高的容錯預備容量,實際每次訓練的能源與資本成本,便可能與單晶片能效排名不同。能源資料須按同一系統邊界比較,不能只算處理器本身。


共同基準讓價格戰有比較尺度但不能取代採購試驗


MLPerf提供一套比供應商自行宣布的晶片速度更可靠的比較工具,因為參測者必須揭露設備、軟體及指定工作負載的結果。然而參測系統常經過高度調校,未必等於客戶按一般雲端租用方案立即可取得的環境。它也不會替每家公司算入雲端折扣、工程人力、跨區資料傳輸、模型反覆失敗或需求淡季的閒置成本。把公開基準當成唯一採購依據,仍可能選錯設備。


有意義的採購試驗,應在相同資料集、模型品質門檻與交付日期下,比較完成一次訓練的端到端費用、耗電、故障恢復時間與模型移植成本。不同工作負載應分開測量,並保留模型更新後重新測試的權利。若某平台在一種大型語言模型訓練中特別有效,客戶還要判斷自身未來需求是否會轉向多模態、推薦系統或大量後訓練;否則今天的效率優勢,明天可能變成錯誤的設備承諾。


同一套基準也會改變市場競爭。公開的工作負載結果愈有代表性,採購者就愈容易要求供應商解釋實際交付的差距,削弱單純靠晶片型號宣傳建立的溢價;但若只有資源最多的企業負擔得起大型參測和工程調校,公開排名也可能反過來放大其規模優勢。基準本身需要持續更新工作負載與參與門檻,才不至於變成少數廠商擅長的競賽。


AI訓練市場真正形成的商品,是在一定時間、成本與可靠度限制下交付達標模型的能力。晶片仍是昂貴且重要的要素,但網路、軟體、人才、能源與移轉選擇權共同決定誰能把硬體轉換成有效產能。未來雲商的競爭力,不會僅由能買到多少最先進的晶片決定,而由它能否讓不同客戶以可驗證的總成本完成工作、並保有必要的替代選擇決定。


 
 
 

留言


航空會員計畫的真正資產是預收現金與信任
服飾品牌拍攝連續短劇正在爭奪顧客時間
人工智慧代理人的行動權將由誰來核發
家具賣場把空間租給別人是在買未來顧客
人工智慧運算的成本競爭已超越晶片規格
門市的真正報酬藏在交易以外的服務網路
bottom of page