AI時代におけるネットワークの重要性と革新の方向性

AI大規模モデル時代において、ネットワークは重要な役割を果たしています。モデルの規模が急速に拡大する中、複数のサーバークラスターがモデルのトレーニングを解決する主要な方法となり、これがAI時代におけるネットワークの「上位」の基盤を形成しています。過去には主にデータ転送に使用されていたのに対し、現在ではネットワークは主にGPU間のモデルパラメータの同期に使用されており、ネットワークの密度と容量に対してより高い要求が求められています。

大規模モデルのトレーニングは3つの大きな課題に直面しています:

1. 増大するモデルのサイズ: トレーニングにかかる時間はモデルパラメータの量とデータの規模に正比例し、計算速度には負比例します。計算効率を向上させることがトレーニング時間を短縮する鍵となり、デバイスの数を増やし並列効率を向上させることが計算能力を直接決定します。

2. 複数カードの同期に関する複雑なコミュニケーション: モデルが単一カードに分割された後、各計算は整合が必要です。All-to-Allなどの操作は、ネットワーク伝送と交換に対してより高い要求を提起します。

3. ますます高くなる故障コスト: 大規模モデルのトレーニングはしばしば数ヶ月続き、中断が発生すると数日間の再トレーニングが必要になり、巨額の損失を引き起こす可能性があります。現代のAIネットワークは、飛行機や空母などに匹敵する人間のシステムエンジニアリング能力の結晶となっています。

ネットワークの革新は主に3つの方向に焦点を当てています:

1. 通信媒体の更新: 光モジュール、銅ケーブル、シリコンベースの相互接続はそれぞれ利点があり、コスト削減と性能向上を探求しています。

2. ネットワークプロトコルの競争: チップ間通信プロトコルとグラフィックカードの強いバインディング、ノード間通信は主にIBとイーサネットの競争である。

3. ネットワークアーキテクチャの変化:葉脊アーキテクチャは挑戦に直面しており、Dragonflyやrail-onlyなどの新しいアーキテクチャが超大規模クラスターの進化の方向性となることが期待されています。

投資の提案は、通信システムのコアセクターとイノベーションセクターに関連する企業に注目してください。全体的に見て、AI時代のネットワークのイノベーションは「コスト削減」、「オープン」、および計算能力のスケールのバランスを中心に展開され、通信技術の進歩を引き続き促進します。