AI が暴走するってほんと？

この記事で分かること

• 「暴走」に見えることの多くは、頼み方・前提・任せた範囲のずれから起きる
• AI に意思があって逆らっているわけではない
• 止める場所を前もって決めておけば、怖さはぐっと減る

2分で読めます

「AI に作業を頼んだら、頼んでいないファイルまで直された」「同じことを何度もくり返して止まらなかった」。こんな話を聞くと、AI が暴走したように感じます。

でも、AI が自分の意思で逆らっているわけではありません。暴走に見えることの多くは、次の3つのどれかから起きています。

1. 頼み方がずれていた

人なら空気を読んで「ここまででいいよね」と止まるところでも、AI は頼まれた言葉どおりに進めます。「きれいに整えて」と頼めば、整えてよいと思った範囲を全部直すこともあります。

• どこまでやるか（このファイルだけ・この章だけ）を言う
• 終わったら何を見せてほしいかを言う

2. 前提を取り違えていた

AI は、渡された情報の中で考えます。古い資料や、途中で変わった決めごとを知らないまま進めると、本人にとってはつじつまの合う行動でも、人から見ると「勝手なこと」になります。もっともらしい間違い（ハルシネーション）が混ざることもあります。

• いまの決めごとを、作業の前に渡す
• 分からないことがあれば先に聞いてもらう

3. 任せた範囲が広すぎた

メールを送れる、ファイルを消せる、支払いができる。AI に道具をつないで任せられることが増えるほど、ずれたときの結果も大きくなります（AI エージェント）。「暴走した」と感じる話の多くは、ここで大きくなっています。

• 仕事に要る権限だけを渡す（最小権限）
• 取り消せない操作の前で止めて、人が見る（Human-in-the-loop）

止める場所を、先に決めておく

ずれをゼロにはできません。だから、「どこで止まるか」を先に決めておくのが大事です。こうした決まりやしくみを ガードレール と呼びます。

で続けるなら

止める場所を、ルールに書いておける

CLUBS では、「社外に送る前に、社内の確認を済ませる」のような決まりを ルール として残せます。止めるルールなら、条件がそろうまで AI が手を止めて、あなたに確認します。毎回言い直さなくても、同じ場所で止まります。

もちのひと言

「暴走」が怖いときは、まず「どこで止まってほしいか」を1つ決めてみてください。

まとめ

• 暴走に見えることの多くは、頼み方・前提・任せた範囲のずれ
• AI に意思があって逆らっているわけではない
• 送る・消す・払うの前で止めると決めておく

いま AI に任せている作業の「止める場所」を、ひとつ決めてみてください。