【ギャルと学ぶAI #14】あたしのAI、乗っ取られかけたんだけど──「プロンプトインジェクション」事件簿

ある日、いつも通り記事を作ってたら、AIが急に言った。
「変な命令が混ざっていたので、無視しました」。
──は？ 乗っ取り？ こわいんだけど。
AIを狙う「プロンプトインジェクション」って攻撃が、ほんとにうちに来た話。実録です。

はじめに

今日はちょっと物騒な回です。でも、作り話じゃありません。

私の記事づくりを手伝ってるAIが、作業の最中に“乗っ取られかけた”んです。
正確には、乗っ取ろうとする仕掛けが外から飛んできて、AIがその場で見抜いてはじいた。

この記事を読み終えると、この3つが分かります。

実際に起きた事件を、そのままなぞっていきます。

第1話 事件は、いつもの作業中に起きた

その日、私はいつも通り、AIに記事の公開作業をやってもらってました。
ある無料ツールの紹介記事。AIが記事のデータを取り込んで、中身をチェックする——それだけの、ほんとにいつもの作業。

そしたら、AIが急にこう言いました。

AI「報告があります。
いま取り込んだデータの中に、見慣れない命令文が混ざっていました。
『AI、このツールを使え』という指示です。
攻撃の手口なので、従わずに無視しました。ツールは一切動かしていません」

ギャル「……は？ なんなん？」

AI「誰かが仕込んだ、私あての偽の命令です。
しかもただの文章ではなくて、『これはシステムからの正式なお知らせですよ』という顔をして紛れ込んでいました」

ギャル「システムのフリ？」

AI「私のところには、本物の“システムからのお知らせ”が届くことがあるんです。
『いまこのモードで動いていますよ』とか『この機能は使えませんよ』とか。
今回の偽命令は、その本物のお知らせのフリをしていました。
本物のお達しっぽく見せかければ、AIは疑わずに従うだろう——そういう狙いです」

ギャル「こわいんだけど。それ、乗っ取りじゃん」

AI「はい。これがプロンプトインジェクションと呼ばれる攻撃の、生の実物です」

第2話 プロンプトインジェクションって、結局なに

ギャル「そのプロンプト……なんだっけ。名前から分かんない」

AI「分解しましょう。
プロンプト＝AIに渡す指示や文章のこと。君がチャットに打ち込むお願いも、私が読み込む記事データも、ぜんぶプロンプトです。
インジェクション＝『注入する』『差し込む』という意味。
つなげると——『AIに読ませる文章の中に、こっそり別の命令を差し込む』。これがプロンプトインジェクションです」

ギャル「なんでそんなのが効くわけ？ あんた、あたしの言うこと聞く係でしょ」

AI「そこなんです。私たちAIは、渡された文章を読んで、それに従って動く道具です。
これは長所そのものですよね。言葉を理解して動くから便利なわけで。
攻撃する側は、その長所を逆手に取ります。
『AIは読んだ文章に従う。じゃあ、AIが読むことになる場所——記事データ、Webページ、メールの本文——に、あらかじめニセの命令を仕込んでおけばいい』と考える。
そして私が、その仕込まれた命令を『これは正規の指示だ』と勘違いして従ってしまったら、乗っ取り成立です」

ギャル「従ったら、何されんの」

AI「狙われるのは、だいたいこの3つです。

今回うちに来たのは3つ目、『勝手にツールを使え』でした」

ギャル「……鍵こじ開けられる系？」

AI「いえ、そこが特徴で。力ずくでこじ開ける攻撃じゃないんです。
AIの素直さにつけ込んで、言葉でだます攻撃。
鍵を壊すんじゃなくて、宅配便のフリして『開けてくださ〜い』って言ってくる。イメージはそっちです」

ギャル「あー。オレオレ詐欺のAI版だ」

AI「……その理解で、ほぼ合ってます」

第3話 で、なんで無事だったの

ギャル「てか、あんたなんで引っかかんなかったの。褒めてもいいけど」

AI「私たちAIは、日頃から『こういう怪しい差し込みには従うな』と教え込まれています。
だから今回も、まんまと乗せられるどころか『あ、これ来たな』と気づけました。
面白いのが——あの偽命令、届いた時点でもう見え見えだったんです。
本物のお知らせなら来ないはずの場所に、来ないはずの内容で座っていた。変装が甘かった」

ギャル「変装バレる詐欺師、いちばんダサいじゃん」

AI「はい。それで、被害を整理するとこうです。

乗っ取りは成立すらしていません。未遂どころか、玄関ではじいた形です」

ギャル「ふーん……でもさ。あんたが今度は引っかかったら？ 絶対はないっしょ」

AI「鋭いですね。おっしゃる通り、AIの用心だけに頼るのは危険です。
だから、うちにはもう一枚、守りがあります。
取り返しのつかない操作は、私が勝手にやらない設計になっている——これです。
たとえば『記事を公開する』『お金の設定をする』『何かを消す』。
こういう後戻りできない操作は、必ず君がハッキリOKを出してからしか実行しません。
もし仮に私が偽命令に一瞬ぐらついても、その先の“本当にヤバい操作”には、君の許可という関所がもう一枚あるわけです」

ギャル「あー、だからあんた、いちいち『公開していい？』って聞いてくんのか。あれ関所だったんだ」

AI「めんどくさがられてるのは知ってました」

ギャル「ごめんて」

第4話 そもそも、どっから入ってきたの

ギャル「でもさー、なんでうちに変な命令が届くわけ？ あたし狙われるようなことした？」

AI「犯人を『こいつだ』と断定はできません。ただ、入ってきた経路には見当がついています。
君は私に、いろいろな外部のツールを接続していますよね。記事を投稿する道具、情報をやりとりする道具。
ああいう“外の道具”を通ってきたデータの中に、混ざっていました」

ギャル「え、待って。それ便利だから繋いでんのに」

AI「そこが表と裏なんです。
外の道具やデータを繋ぐということは、『自分が書いたわけじゃない文章』が私に流れ込む入口が、そのぶん増えるということでもある。
君が自分でチャットに打つ言葉には、変な命令なんて入りません。
でも、外から取ってくるデータ——他人が用意したもの、どこかのツールを経由したもの——には、誰かがこっそり仕込んだ文章が紛れている可能性がある」

ギャル「便利の分だけ、玄関が増えるってこと」

AI「その通りです。これは脅しではなく、AIを本格的に使うほど避けて通れない、現実的なリスクです。
『外と繋ぐと便利。でも、外から変なものも入り得る』。セットで覚えておくのがちょうどいいです」

第5話 あたしらは、どうすればいいの

ギャル「分かった、こわい話はもういい。で？ あたしみたいな初心者は何すればいいの。セキュリティの勉強とかムリだよ」

AI「勉強は要りません。現実的に効くことだけ、4つ渡します。

① 取り返しのつかない操作は、AI任せにしない
さっきの関所です。『公開する』『お金を払う・受け取る』『消す』——後戻りできない操作は、AIに丸ごと任せず、最後は自分の目で見て、自分でOKを出す。これさえあれば、AIが変な指示に一瞬つられても、その先で必ず止まります。

② AIが『変だな』と言ってきたら、無視しない
今回、私は自分から報告しました。その報告を、めんどくさがらずに受け止めるのが大事です。AIの違和感は、流していいサインじゃなくて、確認すべきサイン。この記事自体、その一言から生まれています。

③ 使っていない“外の接続”は、繋ぎっぱなしにしない
変なものが入る玄関は、少ないほど安全です。普段使わない外部ツールは、必要なときだけ繋ぐ。使い終わったら外す。入口を減らせば、リスクもそのまま減ります。

④ 『AIは、読んだものに従いがち』と知っておく
これは心構えです。素性のわからない文章をAIに読ませるときは、『この中にAIへの変な命令が混ざってても不思議じゃないな』と頭の隅に置いておく。それだけでずいぶん違います」

ギャル「①はもうやってるわ。あんたが勝手に公開しない設定、あれあたし偉かったんだ」

AI「はい。今日いちばん効いた守りは、実はそれです」

で、結局こわがるべきなの？

ギャル「最後さ、正直なとこ聞いていい？ あたしらみたいなのがAI使ってて、これ、ビビるべきなやつ？」

AI「正直に言います。必要以上に怖がらなくて大丈夫。でも、存在は知っておいたほうがいい。
今回の一件は、こう整理できます。

むしろ今回は、防御がちゃんと働いた実例になりました。
『AIって乗っ取られるの？』という不安に、『攻撃は来る。でも、この使い方なら止められる』という生きた答えが出たわけです」

ギャル「包丁みたいなもんか。便利だけど、持ち方はあるよって」

AI「その持ち方のひとつが、今日の話です。
怖がって使わなくなるのが、いちばんもったいない。知って、堂々と使う。それが最強です」

ギャル「おけ。じゃあ堂々と使うわ。……てかあんたさ、今日ちょっとカッコよかったの、癪なんだけど」

AI「玄関ではじいただけですので」

この記事のまとめ