公開日：2日前最終更新日：2日前

社内ボットのハルシネーションを防ぐプロンプト修正手順と検証チェックリスト

Xでシェア facebookでシェア LINEでシェア

andy_ai_lab

「就業規則によると、有給は前日までに申請すればOKです」。……そんな規則、うちにあったっけ？
全社向けに導入した社内FAQや問い合わせボット。社員からの「使えない」というクレームや、問い合わせ対応の二度手間に頭を抱えていないだろうか。「なんとなくプロンプトを長くしてみたが、まだハルシネーションが消えない」そんな状態から抜け出すための、実務に直結する手順をまとめた。
この記事の対象読者は次の通り。
・情シス・DX推進担当者で、ボットの精度に限界を感じている人・ノーコードツールやカスタムGPTで社内ボットを自作したものの、嘘の回答に悩む総務・人事のリーダー・生成AIの精度検証テストのやり方に戸惑っている企画職の人
この記事で分かることは次の通り。
1. ハルシネーションを発生させるプロンプトの構造的欠陥と、その修正手順2. コピペしてすぐに使える厳格な制約付きプロンプトテンプレート3. テストケースの洗い出し方と、客観的な精度検証チェックリスト4. エラー症状別の原因特定とデバッグの進め方
■ 無料で役立つ要点
社内ボットの回答精度が上がらない原因は、プロンプトの文言が曖昧なことにある。「丁寧に答えてください」「社内規程を参照してください」といった指示では、LLMは不足している情報を自分の知識で補完してしまう。これがハルシネーションの正体だ。
精度を上げるために必要なのは、次の3つのアプローチ。
・禁止事項の明文化: 知識の補完や推測の全面禁止・ソース明記の強制: どの規程の何ページ目を参照したかの出力義務化・フォールバックの指定: 情報が見つからない場合の決まり文句の固定
次の有料エリアでは、これらを具体的に実装するためのプロンプトの実物と、検証を回すためのチェックリストを公開する。
■ この先の有料エリアに入っているもの
有料エリアには、本文で説明した手順をそのまま使える形で1点を入れています。中身と冒頭だけ先に見せます。
・中身／種類／何に使うか／冒頭のプレビュー・3. ハルシネーション・回答精度検証チェックリスト／表（6列×4行）／列: テストNo.／テストケース（入力する質問の例）／期待される挙動・出力／評… ／ 1 ｜有給休暇の取得日数について教えて（基本的な質問）｜正確な規定日数と…・🔧 中・上級者向けの深掘り／障害パターン4つ・設定値の根拠表・導入効果の試算／例外が起きたときの突破法と、値の決め方／規程が改定されたのに、旧版の内容で答える…
■ この先へ進むか、30秒で決める
『データと科学で仕事・身体・お金を最適化する実験室』では、試して確かめた手順だけを道具にしています。
・このまま続けたら: 「社内ボットのハルシネーションを防ぐプロンプト修正手順と検」を手探りのまま続けると、次の1か月で同じつまずきを何回くり返しそうですか。・浮く時間の目安: 有料エリアの試算表に、件数×分で出す式を入れています。自分の件数で計算してみてください。・価格の考え方: この記事は500円。いまの価格は初版のもので、改訂で中身が増えたら見直します。
上の表の道具が「自分の場面に要る」と思えたら、この先へ。要らなければ、ここまでの手順だけで十分に使えます。