HBMとは

第III部 設計する ④ 基盤構成 (アーキテクチャ)

ロジック / メモリ / インターコネクト / 電源 — チップ内部のサブシステム設計の選択肢と、それぞれが選ばれる理由。 4.1 ロジック構造の設計思想 CPU = 制御重視 (1 コアあたり 数億トランジスタが制御に費やされる) vs GPU = SIMT で 32 thread を 1 制御で並列駆動 vs ASIC = Systolic Array で命令フェッチ・デコード・分岐予測を全廃。 行列乗算の効率比は CPU : GPU : ASIC ≒ 1 : 30 : 300。 4.2 メモリ階層 — Memory Wall とトレードオフ 設計理由 (Memory Wall): CPU は 1ns で命令実行可能だが、DRAM access は 100ns。 99% の時間を待機で潰すため階層キャッシュが必須。L1 hit rate 95% 確保で初めて性能が出る。 HBM の必然…

→ 続きを読む (体系解説)

第I部 基礎 ① 計算資源とは何か — AIの能力は演算の堆積である

大規模モデルは、訓練 (学習) 中も回答生成 (推論) 中も、底の底では天文学的な回数の掛け算と足し算を繰り返しているだけである。 「計算能力が強い」とは、同じ算数の問題群を、誰がより速く・より効率よく・誤りなく解き切れるかに尽きる。 1.1 単位系 — FLOPS・TOPS・トークン・GPU時間 AIの世界で飛び交う単位は、突き詰めると「演算の速さ」「演算の総量」「言葉の量」の3種類しかない。 投資判断で混同しやすいのは、FLOPS (速さ=フロー) と FLOP (総量=ストック) の区別である。 日本語の「1トークン=約1〜2文字」は目安である。各社は日本語の公式な文字対トークン比を公表しておらず、 比率はトークナイザによって変わる。課金の見積りをするなら自社の文書で実測するのが唯一確実な方法になる。 1.2 数値精度 — なぜ「桁を削る」と速くなるのか 同じチップでも、数値の桁数 …

→ 続きを読む (体系解説)

誰も「何を測ったか」を書いていない ― サムスンHBM4の歩留まり80%を分解する

**サムスンのHBM4歩留まりが80%に接近したと報じられた。だが原文は、その数字が何を測ったものかを書いていない。12層積層で歩留まりが4つの別物に割れる構造を一次資料から分解し、土台チップの外注化と採算の変質まで追う。** **サムスン電子のHBM4歩留まりが80%に接近したと韓国紙が報じた。数字だけ見れば大きな前進だが、その報道は80%が何を測った値なのかを一行も書いていない。12層を積むHBM4では、歩留まりという言葉が4つの別物に割れる。** 広帯域メモリー(HBM)は、DRAMを縦に積み上げて演算装置のすぐ隣に置く部品である。生成AI向けの計算基盤で、演算能力そのものよりも先に足りなくなるのがこの部品であり、供給できる会社は世界に3社しかない。その1社であるサムスン電子の量産が軌道に乗るかどうかは、AI向け半導体の供給量を左右する。本稿は、報じられた歩留まりの数字を一次資料まで…

→ 続きを読む (検証記事)