TOP目的から探すAIを設計に組み込む

目的から探す

AIを設計に組み込む

生成AIは、間違った答えほど迷いなく言い切ります。その自信は、正しさの手がかりにはなりません。このページでは、何が返ってくるかを知るところから、渡し方、人の側の落とし穴、そして任せる範囲の決め方までを順に並べました。

13用語を読む順に並べています

何が返ってくるかを知る

答えの見た目は、根拠があってもなくても変わりません。合わせてくる相手は心地よいぶん、かえって信用しにくいものです。

  1. 1 ハルシネーション Hallucination 間違った答えほど、迷いなく言い切られる。自信のある口ぶりは、正しさの手がかりにはならない。確かめる先を、必ず一緒に出せ。
  2. 2 シコファンシー Sycophancy 否定せずに合わせてくる相手は、心地よく信用しにくい。同意ばかり返る道具は、間違いを一緒に運ぶ。反対意見が出る問い方を、用意しろ。
  3. 3 グラウンディング Grounding 答えの見た目は、根拠があってもなくても変わらない。出典を添えない限り、正しさは確かめようがない。どこから引いたかを、必ず一緒に出せ。

渡し方で結果が変わる

外すのは能力ではなく、指示の問題であることが多いです。ただし長く渡すほど丁寧に見えて、中ほどは読まれません。

  1. 4 プロンプトエンジニアリング Prompt Engineering うまい書き方は、個人の勘のまま属人化する。同じ指示でも、担当が変われば結果は揺れる。効いた指示は、口伝えにせず形に残せ。
  2. 5 インコンテキストラーニング In-context Learning その場で示した例は、会話が終われば消える。覚えたように見えても、次の人には引き継がれない。毎回渡す前提で、例を残しておけ。
  3. 6 Zero-shot CoT Zero-shot Chain of Thought 順を追って考えろと足すだけで、答えの質は変わる。ただし過程が長いほど、間違いも丁寧に見える。理由の正しさは、結論と別に確かめろ。
  4. 7 コンテキストウィンドウ Context Window 入る量には上限があり、溢れた分は黙って落ちる。長く渡すほど丁寧に見えて、中ほどは読まれない。大事な指示は、端に置け。

人の側の落とし穴

機械が言うなら正しいだろう、と人は確かめる手間を省きます。過去から学ぶ以上、過去の偏りもそのまま出てきます。

  1. 8 自動化バイアス Automation Bias 人は自動の推奨を過信し、自分で確かめる手間を省く。AIの提案ほど鵜呑みにされやすい。だからUIには「確認したくなる」摩擦をあえて残せ。
  2. 9 擬人観 anthropomorphism 機械が返す言葉に、人は勝手に意図を読み取る。断りの文面が冷たいと、拒まれたように感じる。書き手のいない文ほど、丁寧に書け。
  3. 10 AIバイアス AI bias 過去の判断から学ぶ以上、過去の偏りもそのまま覚える。中立に見える出力ほど、根拠は問われなくなる。使う前に、誰が不利になるかを調べろ。

任せる範囲を決める

自律とは、権限をどこまで渡すかの設計そのものです。動かす前に、どこで止まり誰が承認するかを決めておきましょう。

  1. 11 ヒューマン・イン・ザ・ループ Human-in-the-Loop 任せきりにしないのは、不信ではなく設計だ。どこで人が確認するかの置き方が、信頼を決める。全部人も全部自動も選ばず、境界を引け。
  2. 12 AIエージェント AI Agent 任せる範囲が広がるほど、失敗の取り返しは効かなくなる。自律とは、権限をどこまで渡すかの設計だ。動かす前に、止める場所を決めろ。
  3. 13 プロンプトインジェクション Prompt Injection 読み込ませた文章に、命令が紛れ込むことがある。取り込んだ情報を信じるほど、隙は広がる。外から来た文は、指示ではなく資料として扱え。