スケーリング則とは

スケーリング則が対象にする要素は3つある。1つ目はモデルの規模で、パラメーターの数で表す。パラメーターは、モデルが学習を通じて調整する内部の数値を指す。2つ目は学習データの量、3つ目は学習に使う計算量である。

性能は「損失」という数値で測る。損失は、モデルの予測が正解からどれだけ外れたかを表し、小さいほど性能が高い。オープンAIの研究者らの2020年の論文によると、3つの要素のどれを増やしても、損失は「べき乗則」に沿って下がる。べき乗則とは、一方の量を10倍にするたびに、もう一方が決まった倍率で変わる関係をいう。この関係を、縦軸と横軸をともに対数目盛りにしたグラフに描くと、右下がりの直線になる。

直線になる性質は、開発の実務で役に立つ。同じ傾きが続くと仮定すれば、小規模なモデルで傾きを測っておき、規模を10倍、100倍にしたときの損失を、開発する前に見積もれる。AIを開発する企業にとっては、半導体とデータをどれだけ用意するかを決める手がかりになる。

物理学や生物学でも、大きさと性質の関係をべき乗で表す法則をスケーリング則と呼ぶ。このページは、AIと半導体の2つを扱う。

AIの言語モデルのスケーリング則は、ジャレッド・カプラン氏ら10人が2020年1月に公開した論文「ニューラル言語モデルのスケーリング則」で広く知られるようになった。カプラン氏は当時、米ジョンズ・ホプキンズ大学とオープンAIに所属し、ほかの9人はオープンAIの研究者だった。カプラン氏と、共著者のダリオ・アモデイ氏は翌2021年、米アンソロピックを共同で創業した。

論文によると、言語モデルの損失は、モデルの規模、データ量、学習に使う計算量のどれを増やした場合も、ほかの2つが足りていれば、べき乗則に沿って下がった。この関係の一部は、1,000万倍 (7桁) を超える幅で成り立っていた。層の数や1層あたりの大きさといった設計の細部を大きく変えても、性能はほとんど変わらなかったという。

論文は、限られた計算量の使い道についても結論を出している。大規模なモデルほど、少ないデータで学習が進む。このため計算量が限られているときは、モデルを思い切って大きくし、データは控えめにして、性能が伸びきる前に学習を打ち切るのが最も効率がよい、という内容だ。オープンAIが同じ年に公開した「GPT-3」のパラメーター数は、1,750億に上る。

2年後、米グーグル傘下の英ディープマインドの研究者らが、計算量の使い道についてのこの結論を見直した。2022年3月に公開した論文では、パラメーター数が7,000万〜160億超のモデルを400以上用意し、50億〜5,000億トークンのデータで学習させて性能を比べた。トークンは、モデルが文章を区切って扱う単位である。

論文は、2020年の論文の後、業界がより大きなモデルの学習を競ってきたと振り返っている。そのうえで、当時の大規模言語モデルは、規模のわりに学習データが少なく、学習が足りていないと結論づけた。計算量を最も効率よく使うには、モデルの規模と学習データを同じ比率で増やす必要があるという。モデルの規模を2倍にするなら、学習に使うトークンも2倍にする。

研究者らは、この考え方に沿って言語モデル「チンチラ」を開発した。パラメーター数は700億と、同社の従来のモデル「ゴーファー」(2,800億) の4分の1に抑えた。その代わり、ゴーファーと同じ計算量で4倍のデータを学習させた。チンチラは幅広い性能評価で、ゴーファー、GPT-3 (1,750億)、「ジュラシック1」(1,780億)、「メガトロン・チューリングNLG」(5,300億) を上回った (かっこ内はパラメーター数)。幅広い分野の知識を問うテスト「MMLU」の平均正答率は67.5%で、ゴーファー (60.0%) を7ポイント余り上回った。

2本の論文は、規模を大きくすれば性能が伸びるという点では一致している。違うのは、限られた計算量を規模とデータにどう振り分けるかである。パラメーター数の多いモデルが、常に性能で勝るわけではない。モデルの規模による区分や、近年主流になった方式は、体系解説「大規模モデルの構造」で説明している。

半導体の分野でスケーリング則と言えば、トランジスタを小さくするときの法則を指す。代表例がデナードの法則で、トランジスタを微細化しても、面積あたりの消費電力は一定に保たれるというものだ。この法則は2000年代半ばに成り立たなくなり、以後の半導体の設計では、電力と熱が大きな制約になった。集積度が約2年で2倍になるというムーアの法則も、微細化に関する経験則である。

AIのスケーリング則が、モデルを大きくしたときの性能の伸び方を表すのに対し、半導体のスケーリング則は、トランジスタを小さくしたときの性能と電力の変化を表す。対象は別だが、2つはつながっている。スケーリング則に沿ってAIの性能を上げるには計算量を増やすことになり、その計算量は半導体の性能と数、動かす時間で決まる。微細化しても面積あたりの電力が下がらなくなったため、計算量を増やすほど消費電力と発熱も増える。AI向けの半導体とデータセンターで、電力と冷却が課題になるのはこのためだ。

スケーリング則が成り立つかぎり、計算量を増やせば性能は上がる。AIを開発する企業が、画像処理半導体 (GPU) とデータセンターに巨額の資金を投じる理由の1つはここにある。日本企業も、AI向けの計算資源に投資している。ソフトバンクグループはオープンAIに出資し (関連記事)、さくらインターネットはGPUを時間単位で貸し出す事業に投資している (関連記事)。

GPUで最大手の米エヌビディアは2025年2月、スケーリング則は3つあると説明した。モデルを作る段階の学習に加え、学習後の調整と、回答するときに計算を重ねる推論の段階でも、計算量を増やせば性能が上がるという内容だ。これは同社の説明で、2本の論文が確かめた関係とは別である。

スケーリング則は実験で観測された経験則で、物理法則ではない。2本の論文が確かめたのは、それぞれの実験の範囲内で成り立つ関係にとどまる。同じ傾きがその先も続くことを保証する理論はない。べき乗則では、損失を同じ割合だけ下げるのに必要な計算量が、そのたびに何倍にも膨らむ。性能の伸びが投資の増加に見合うかどうかは、計算にかかる費用の単価と、AIが生む売上高で決まる。投資の回収の仕組みは、体系解説「AIの収益構造」と、さくらインターネットの決算を使った検証で扱っている。

スケーリング則は誰が提唱したのか

AIの言語モデルについては、ジャレッド・カプラン氏ら10人が2020年1月に公開した論文「ニューラル言語モデルのスケーリング則」で示した。著者は米オープンAIの研究者が中心で、損失がモデルの規模、データ量、計算量を増やすとべき乗則に沿って下がるという内容だ。

スケーリング則とムーアの法則の違いは何か

ムーアの法則は、半導体の集積度が約2年で2倍になるという経験則で、対象はトランジスタの微細化である。AIのスケーリング則は、モデルの規模、データ量、計算量を増やすと性能がどう伸びるかを表す。半導体の分野でスケーリング則と言えば、微細化しても面積あたりの消費電力が一定に保たれるというデナードの法則などを指す。

チンチラの論文は何を変えたのか

米グーグル傘下の英ディープマインドが2022年3月に公開した論文で、モデルの規模と学習データを同じ比率で増やすのが最も効率がよいと示した。パラメーター数700億のチンチラは、同じ計算量で4倍のデータを学習し、2,800億のゴーファーを上回った。

スケーリング則に限界はあるのか

スケーリング則は実験で観測された経験則で、同じ傾きがこの先も続くことを保証する理論はない。べき乗則では、損失を同じ割合だけ下げるのに必要な計算量が、そのたびに何倍にも膨らむ。