AI 計算能力リファレンス

AI 計算ハードウェアリファレンスとは？#

ある GPU が「1979 TFLOPS」を出す、あるいはチップが「192 GB のメモリ」を持つと読んだとき、その数字が意味を持つのは、背後にあるルールを知ってからです — その数値がどの数値精度で測られたか、構造化スパースティを含むか、浮動小数点のスループット（TFLOPS）なのか整数のスループット（TOPS）なのか、そしてメモリが実際に供給する帯域幅はどれだけか。ベンダーは最も見栄えのする構成で宣伝数字を公表します。条件を明記したリファレンスがなければ、2 つのチップを正しく比較できません。

本ページはそのリファレンスです。ML エンジニアやインフラの購入担当が実際に必要とする 4 つの情報を並べて収録します — 計算単位の用語集（FLOPS、TFLOPS、TOPS、MAC が実際に何を意味するか）、数値精度フォーマット（FP64 から INT4 まで、典型的なスループット順）、アクセラレータの種類（CPU、GPU、TPU、NPU、LPU、MAU）、そして特定チップの ハードウェア表 で、メモリ容量、メモリ帯域幅、FP16/FP8/INT8 での dense ピークスループットを収録します。各数値はベンダーのデータシートで検証し、数字が誤解を招きうる場合は正確な注記を添えます。

使い方#

1. すべてを横断検索。 上部の単一 検索 ボックスが、名前、ベンダー、プロセスノード、スペックで 4 つのセクションすべてを一度に絞り込みます — H100、NVIDIA、192gb、4.8tb/s と打つとハードウェア表が絞り込まれます。
2. 4 つのセクションを読みます。
   • 計算単位 — SI 接頭辞付きのシンボル（FLOP から EFLOPS まで、加えて TOPS と MAC）と 10 の累乗指数で、相互変換できます。
   • 精度フォーマット — FP64、FP32、TF32、FP16、BF16、FP8、INT8、INT4 をビット幅と典型的なユースケースとともに、モダンなテンソルコアでのスループット上昇順に並べます。
   • アクセラレータの種類 — CPU、GPU、TPU、NPU、LPU、MAU の 1 行の違い。
   • ハードウェア表 — 名前、ベンダー、アーキテクチャ、メモリ（GB）、メモリ帯域幅（TB/s）、dense な FP16/FP8/INT8 スループットに、チップごとの注記。
3. 空白を信頼してください。 セルがゼロではなく空の場合、その数値は dense ピークとして検証できなかったことを意味します — 注記が理由を説明します（AMD の MI300X は sparse ピークを公表するため、dense はほぼ半分）。条件を隠して数字を印刷するより、空白のままにする方が正直です。

主な機能#

• dense ピークのみ、スパースティは明記。 NVIDIA の数値は dense（2:4 構造化スパースティなし）で、注記は宣伝数字がスパースティをオンにするとしばしば倍になることを思い起こさせます。黙って「スパースティ込み」で水増しすることはありません。
• TFLOPS と TOPS を区別。 用語集は、TOPS（OPS ファミリー）が TFLOPS（FLOPS ファミリー）と直接比較できないことを明記します — ベンダーが好んで利用する混乱です。
• スループット順の全精度。 FP8 が FP16 のほぼ倍、INT8 が BF16 のほぼ倍になることを一目で確認できます — 量子化が存在する経済的理由です。
• 計算だけでなくメモリと帯域幅。 大規模言語モデルの推論では、メモリ容量と帯域幅がピーク FLOPS より重要なことが多く、そのためこれらは主要な列です。
• リンクではなく名前で出典を明記。 すべての数値は、その元となったデータシートや製品ページを名前で示し、外部 URL なしで、ベンダー自身のドキュメントで検証できます。

実例#

ハードウェア表で NVIDIA の 3 世代を比較してみます。NVIDIA で検索すると、A100、H100、H200 の行が一緒に得られます。

2 つのことが飛び込んできます。第 1 に、H100 から H200 への移行は 計算を追加しませんでした — 両者は GH100 のコンピュートダイを共有し、H200 は HBM3e へのメモリリフレッシュで、容量（80 → 141 GB）と帯域幅（3.35 → 4.8 TB/s）をほぼ倍にしています。メモリバウンドな LLM 推論ワークロードでは、それは FLOPS を増やす以上の現実のメリットです。第 2 に、A100 には FP8 列がありません — FP8 は Hopper 世代の機能で、Hopper 以前のチップには単に存在しません。

次に AMD と Google の行を引きます。MI300X は掲載チップ中最大のメモリ（192 GB）と帯域幅（5.3 TB/s）を示しますが、FP16/FP8/INT8 のセルは意図的に空白で、注記が AMD は構造化スパース付きピーク（sparse FP16 1307、sparse INT8 2614）を公表しており、dense はほぼ半分であると説明します — sparse の数値を NVIDIA の dense の隣に印刷すれば誤解を招く比較になります。TPU の行はまた別の慣習を示します: TPU v4 は BF16 が INT8 と等しい 1 チップあたり 275 と報告する一方、コスト最適化の v5e は 197 BF16 に対して INT8 を 393 と倍にします。

よくある質問#

TFLOPS と TOPS は同じですか？#

いいえ。この 2 つを混同するのがスペックシートで最もよくある罠です。TFLOPS は 1 秒あたりの 浮動小数点 演算を測り（FLOPS ファミリー、10 進接頭辞: MFLOPS、GFLOPS、TFLOPS、PFLOPS）。TOPS は 1 秒あたりの 整数または汎用 演算を測り（OPS ファミリー）、INT8 量子化推論でよく引用される数値です。下層の演算が異なるため、チップの TOPS 数は TFLOPS 数と直接比較できません — さらに MAC（1 回の乗算累算）は慣習で 2 FLOP とカウントされ、これがベンダーの TOPS 数値が時に倍に勘定されている理由の一部です。

なぜ MI300X の計算セルが空白なのですか？#

AMD が 構造化スパースティ を有効にしたピークスループット（例: sparse FP16 1307 TFLOPS）を公表するのに対し、本表はすべてのチップを比較可能にするため dense ピークを報告するからです。dense の MI300X は sparse 数値のほぼ半分ですが、きれいで検証された dense の数値は一貫して得られないため、隠れた「sparse」条件付きの数字を印刷するより空白のままにしています。メモリと帯域幅 — 192 GB と 5.3 TB/s — は検証済みで表示されます。

FP16 と BF16 の違いは何ですか？#

どちらも 16 ビットですが、ビットの使い方が異なります。FP16 はより高い精度を持ちますが数値範囲が狭く、BF16 は精度を FP32 と同じ範囲と取引します。その範囲は訓練で重要で、勾配の大きさが激しく変動しうるため、BF16 は FP16 と同じビット幅でありながら、モダンなテンソルコアでの既定の訓練フォーマットになりました。精度フォーマットのセクションに、両者を典型的なユースケースとともに掲載しています。

「ピーク」とは何を意味しますか？私のモデルは実際にこの数値に到達しますか？#

ほぼ到達しません。これらは理論ピークです — すべてのサイクルが完璧に利用され、メモリのストールがない場合にチップが維持できるスループットで、現実のワークロードは決して達成しません。持続スループットは常に低く、カーネル、モデルアーキテクチャ、バッチサイズ、ワークロードがメモリバウンドか計算バウンドかに依存します。ピークはアーキテクチャを比較するための上限として扱い、モデルの速度の予測としては扱わないでください。