「AIには丁寧に頼め」「前提はたっぷり書け」「専門家の役を与えろ」。Xではこうしたコツが毎週のように回ってきますが、同じ話題で逆のことを言う投稿もすぐに見つかります。では、私たちはどのコツを信じればいいのでしょうか？
答えは、自分のパソコンで確かめることです。私は無料で動くローカルAIを使い、4つのコツを1つにつき900〜1,560回ずつ解かせて、正答率を数えました。結果は次のとおりで、評判と中身がかなりずれていました。
- 丁寧に頼んでも、失礼に頼んでも、正答率の差は最大4.4ポイント。統計的には差がありませんでした
- 質問の前に関係のない文章を200字置くだけで、正答率は83.3%から73.9%へ落ちました
- 同じ質問を15回聞いて多数決を取っても、1回で聞いたときと同じ83.3%のままでした
- 「専門家として答えよ」は0ポイント。効いたのは「途中を書いてから答えて」の1文で、95.0%まで上がりました
ここで書くのは、この検証をあなたの手元で、あなたの仕事の質問で回すための手順です。お金はかかりません。
この手順書で分かること
1本ずつの結果は、noteの無料記事で公開しています（丁寧さ・指示の長さ・多数決）。この手順書で足しているのは、同じ検証を自分で回すための道具と読み方です。
- 無料のローカルAI（Ollama）の入れ方と、使ったモデル
- 途中で止めても続きから回せる検証スクリプト（Python、全文）
- 4択60問の問題セット（計算・理科・地理と歴史 各20問、正解はA〜Dに15問ずつ）と、比べる書き方の設定例
- 結果の読み方と、私が実際にやってしまった読み違い5つ
- 自分の仕事の質問に置き換えるときの段階（レベル1〜3）
向いているのは、プロンプトのコツを試してもどれが効いたのか分からない人、社内でAIの使い方を決める立場の人です。プログラムを書いたことがなくても、手順どおりにコピーして貼れば動くように書いてあります。
向かないのは、画像生成の検証をしたい人と、ChatGPTなどの有料の画面だけで完結させたい人です。ここでの手順は、手元のパソコンで文章のAIを回す形に絞っています。
この記事の販売者
