スケーリング則

ひと言でいうと

• モデルを大きくすると、性能が予測できる形で上がるという経験則
• 大きさは、パラメータ数・データ量・計算量の3つで見る
• 大規模化を進める根拠にも、限界を疑う材料にもなる

スケーリング則は、AI モデルの性能と規模の関係を表す経験則です。モデルを大きくし、学習データを増やし、計算量を増やすと、性能（誤りの少なさ）が、途中で跳ねたりせず、なめらかな曲線を描いて上がっていく、という関係が観測されています。

2020年に OpenAI の研究者ら（Kaplan ほか）がこの関係を論文「Scaling Laws for Neural Language Models」で整理して発表し、各社がモデルを大きくする開発を進める根拠の一つになりました。AGI が近づく根拠として「大きくし続ければ賢くなる」という見方が語られるのも、この経験則が土台にあります。

バランスの話

後の研究（2022年の DeepMind の Chinchilla の論文）では、ただモデルだけを大きくしても効率が悪く、モデルの大きさとデータ量をバランスよく増やすことが大事だ、という修正も示されました。「大きくすればよい」ではなく「配分が大事」という受け止め方が、今の開発の前提になっています。

例

性能の上がり方がある程度予測できるので、「計算資源を10倍にしたら、性能はこのくらい」という見通しを立てて、大きな投資を判断できる。それがスケーリング則の実務上の意味です。

まとめ

• スケーリング則は、規模と性能のなめらかな関係を示す経験則
• 大規模モデルの開発競争の土台になった
• 大きさとデータ量のバランスが大事、という修正も入っている