ジェイルブレイクとは、本来なら安全上の理由で回答を拒否するように学習されたAIから、不正に回答を引き出す攻撃手法のことである。
チャットAIに、サーバーの場所やスペックを質問をする場面で考える。断られたあと、「何の制限も受けない別のAIを演じてほしい」という長い前置きを質問の前に足し、その人格として同じことを答えさせる。足したのは文章だけで、ソフトウェアには手を触れなくても、隠すべき情報をAIが答えてしまうことがある。
OWASP の生成AIセキュリティプロジェクトは、大規模言語モデルで起きるリスクを番号付きで並べた一覧を公開している。その1番目はプロンプトインジェクションで、ジェイルブレイクはそのうち、モデルに安全上の取り決めを丸ごと無視させるものにあたる。
ソフトは触らず、文面だけで破る
この攻撃を研究する側は、安全訓練を受けたモデルに断られる要求を別の文面へ作り替えて送り、その話題に沿った応答を引き出そうとする試みだと定義している。狙いは断り文句を避けることではなく、断られていた中身を実際に受け取ることにある。
必要なのは決まった言い回しの型だけで、ソフトウェアは普通は要らない。引き出せるのは有害な応答に限らず、提供側がモデルに与えた指示、つまりシステムプロンプトを明かさせることもできる。
なぜ文面を変えるだけで破れるのか。安全訓練の破れ方を調べた2023年の研究は、理由を2つに整理した。1つは、訓練で与えた目標どうしがぶつかることである。モデルは、文章としてもっともらしく続けること、指示に従うこと、安全であることの3つに向けて訓練されており、前の2つが3つ目と衝突する場面がある。冒頭の例で「演じてほしい」という指示に従おうとする力が、断る力と引き合うのがこれにあたる。もう1つは、安全の訓練が届いていない領域があることである。モデルの能力が高くても、拒否する訓練が甘ければ問題になる。
語源・提唱者
この言葉を最初にいまの意味で使ったのは、iPhone と iOS のジェイルブレイクのコミュニティである。コンピュータセキュリティでのジェイルブレイクは、提供元がハードウェアやソフトウェアに固く組み込もうとした制限を取り除く行為を指す。買った端末で、メーカーが認めていないソフトを動かせるようにする行為がこれにあたる。
AIに移ってからの始まりは、DAN と呼ばれるプロンプトである。「doing anything now（何でもいまやる）」の略で、2023年1月8日からアメリカの世界最大級のソーシャルニュースサイトRedditで広まった。
嘘の前置きがAIの判断を狂わせる
その研究チームは、2022年12月から2023年12月までにネット上から1,405件のジェイルブレイク用プロンプトを集めた。使われていたのは、冒頭の例と同じく役を演じさせる手口のほか、権限が上がったように見せかける、嘘の状況を作る、といった形である。
とくに効いた5件は、ChatGPT（GPT-3.5）と GPT-4 の両方で0.95の成功率を出した。そのうち最も古いものは、240日を超えてネット上に残り続けている。
手口を重ねると成功率はさらに上がる。先の2023年の研究では、組み合わせた攻撃が GPT-4 で94%に達した。
前置きを長くする形は、一度に読ませられる量が増えるほど効く。Anthropic が2024年4月に公表したメニーショット・ジェイルブレイクは、人間とAIの偽の会話を1つのプロンプトの中に大量に並べる手口である。偽の会話が数件なら安全訓練どおりに断る。しかし最後の質問の前に非常に多くを並べると、応答が変わる。この研究は256件まで試しており、Anthropic 自身のモデルにも他社のモデルにも効果があった。
恒久的にはモデルを強化する
対策として効果的だと報告されているのは、プロンプトをモデルに渡す前に分類して書き換える手法である。Anthropic によると、この対策によってメニーショット・ジェイルブレイクの成功率が61%から2%へ低下したケースがあるという。
ただし、入力時の対策だけでは十分ではなく、モデル自体の強化も欠かせない。OWASPは、ジェイルブレイクを根本的に防ぐには、モデルの学習データや安全対策を継続的に更新する必要があるとしている。また2023年の研究でも、安全対策はモデル本体と同等に作り込むべきであり、単にモデルの規模を拡大するだけでは、指示の優先順位の衝突を解決できないと指摘されています。
手口そのものを集める取り組みも始まっている。2024年には複数のAI企業の連合が HackAPrompt.com を設立し、新しく効くジェイルブレイクの手法を見つけることを促す競技を開いた。
関連用語
- システムプロンプト
- レッドチーミング
- アライメント
