モデル崩壊

ひと言でいうと

• AI が AI の生成物で学び続けると、出力が劣化していく現象
• 珍しい表現や例外的な事例から先に消えていく
• ネットに AI の生成物が増えるほど、現実味を帯びる話

モデル崩壊は、AI が、AI の生成したデータを使って学習を重ねることで、出力の質や多様性が世代ごとに失われていく現象です。もとのデータにあった「分布の端」、つまり珍しい言い回しや少数派の事例が再現されにくくなり、平均的で無難な出力に寄っていきます。

AI の生成物がネットに大量に出回るようになったことで、その生成物が次の AI の学習データに混ざる経路が増えました。2024年には、この劣化の進み方を示した研究が科学誌 Nature に掲載され、広く知られるようになっています。

例

AI が書いた記事を別の AI が学習し、その AI の記事をまた次の AI が学習する、を繰り返す。残っていくのは「よくある話」ばかりで、珍しい事例や言い回しは世代ごとに薄れていく。

AIスロップとの関係

質の低い生成物が大量に出回るAIスロップが増えるほど、それが学習データに混ざる入口も増えます。モデル崩壊は、その先で起きうる劣化の話です。ただし、実際の学習では人の作ったデータの選別や調整も行われるため、放っておけば必ず起きる、という単純な話ではありません。

まとめ

• モデル崩壊は、AI が AI の生成物で学び続けて劣化する現象
• 珍しい表現や例外から先に消え、無難な出力に寄っていく
• AIスロップの増加が、その入口を広げると指摘されている