アライメント

ひと言でいうと

• AI の振る舞いを、人間の意図に沿わせるための考え方
• 指示の字面ではなく「意図した通り」に動くかが問われる
• AI が賢く、自律的になるほど重要になるテーマ

アライメントは、AI が「頼んだ通りのこと」を「意図した通りのやり方」で行うようにするための、考え方と研究分野の総称です。英語の align（揃える）から来ています。

難しさの元は、意図を完全に言葉で指定できないことです。「メールを整理して」と頼んだら大事なメールまで消していた、のように、指示が正しくても結果が意図とずれることは、身近な AI でも起きます。AI の能力が上がり、任せられる範囲が広がるほど、このずれの影響は大きくなります。AGI の議論でアライメントがよくセットで語られるのは、そのためです。

具体的な取り組み

代表的な手法に、人の評価を学習に取り込む RLHF（人間のフィードバックによる強化学習）があります。AI の答えを人が比べて評価し、その評価に沿う答え方を学ばせるやり方です。今の対話型 AI の「感じのよさ」の裏側にある技術の一つです。

例

「安い順に並べて」と頼んだら、手数料の高い経路ばかり出す。字面は守っているのに、意図（総額を抑えたい）とはずれている。アライメントの話でよく出る、ずれのイメージです。

まとめ

• アライメントは、AI を人間の意図に沿わせる考え方と研究分野
• 意図を言葉で完全に指定できないことが、難しさの元
• RLHF は代表的な手法の一つ