AI時代網路的重要性與創新方向

網路在AI大模型時代扮演着關鍵角色。隨着模型規模快速增長,多服務器集羣成爲解決模型訓練的主要方式,這構成了網路在AI時代"上位"的基礎。相較於過去主要用於傳輸數據,如今網路更多地用於同步顯卡間的模型參數,對網路的密度和容量提出了更高要求。

大模型訓練面臨三大挑戰:

1. 日益龐大的模型體積:訓練耗時與模型參數量和數據規模正相關,與計算速率負相關。提升計算效率成爲縮短訓練時間的關鍵,而擴大設備數量和提高並行效率直接決定了算力。

2. 多卡同步的復雜溝通:模型切分到單卡後,每次計算都需要進行對齊。All-to-All等操作對網路傳輸和交換提出了更高要求。

3. 愈發昂貴的故障成本:大模型訓練往往持續數月,中斷可能導致回退數天重新訓練,造成巨大損失。現代AI網路已成爲堪比飛機、航母等的人類系統工程能力結晶。

網路創新主要圍繞三個方向:

1. 通信介質的更迭:光模塊、銅纜和硅基互聯各有優勢,正在探索降本和性能提升。

2. 網路協議的競爭:片間通信協議與顯卡強綁定,節點間通信則主要是IB與以太網的競爭。

3. 網路架構的變化:葉脊架構面臨挑戰,新架構如Dragonfly和rail-only等有望成爲超大集羣的演進方向。

投資建議關注通信系統核心環節和創新環節的相關公司。整體來看,AI時代網路的創新將圍繞"降本"、"開放"和算力規模的平衡展開,持續推動通信技術的進步。