AIを乗り換える前に｜同じ課題と採点表で比べる小さなテスト
AI lab
新しいAIを見かけるたびに、店の仕事でも乗り換えた方がよいのか迷うことはありませんか。名前や評判だけで決める前に、実際に頼みたい仕事を一つに絞り、同じ条件で比べる方法を提案します。
この記事は特定製品の性能比較ではありません。以下は架空の教室を使った練習です。効果や時短を実測した事例でもありません。すでに利用できるサービスの範囲で試し、比較のためだけに有料契約を増やす必要はありません。
■ 1．AIを選ぶ前に「合格条件」を書く
今回は、教室の体験案内を読み、受付担当が確認すべき情報を整理する仕事にします。文章の華やかさではなく、次の3点で採点します。
①元の日時・金額・人数を変えない。
②書かれていない情報を、推測で補わず「要確認」とする。
③受付担当が次に聞くことを、3つ以内にまとめる。
採点基準は回答を見る前に決めます。気に入った回答に合わせて、後から基準を変えないためです。
■ 2．両方に渡す、同じ架空資料
練習用の原文：
「体験クラスは11月22日14時から45分間。参加費は1,000円。定員は6名。申込期限、会場、持ち物、キャンセル時の扱いはまだ決まっていない。」
この文章では年と曜日を指定していません。AIが勝手に曜日や会場名を足したら、確認が必要です。実際の顧客名、連絡先、予約一覧や社外秘の資料は使わず、まずはこのような架空情報で試してください。
コピーして使える指示文：
「次の原文だけを使い、受付担当用の確認メモを作ってください。確定していること／未確定のこと／次に主催者へ聞く質問（3つ以内）の順で出力してください。日時・金額・人数は原文どおりにし、年・曜日・場所などを推測で補わないでください。原文：［ここに練習用の原文を貼る］」
■ 3．回答を、同じ採点表で見直す
各項目を「○・×・判定保留」で記録します。AIに自己採点させるだけではなく、人が原文と照合します。
・数字の保持：11月22日、14時、45分、1,000円、6名が変わっていないか。
・未確定の扱い：申込期限、会場、持ち物、キャンセル時の扱いが勝手に確定されていないか。
・質問の実用性：3つ以内で、未確定事項をまとめて確認できるか。
・修正負担：実際に直した箇所数と、確認・修正にかかった時間はどのくらいか。
記録欄：
サービス名／利用日／画面に表示されたモデル名（不明なら不明）／指示文の版／数字の保持／未確定の扱い／質問の実用性／修正箇所数／確認・修正時間／気になった点
■ 4．比較条件を途中で変えない
片方だけに追加説明を入れたり、良い結果が出るまで片方だけ試したりすると、何が違ったのか分からなくなります。同じ原文と指示文を使い、追加の指示をした場合は、その内容と回数も残します。
最初の比較で不足が見つかったら、両方に同じ修正版の指示を渡して再確認します。ただし、1回の結果だけで製品全体の優劣を決めないでください。今回分かるのは、今回の条件と業務での結果です。
■ 5．「勝ったAI」ではなく、使い分けを決める
例えば、両方とも合格なら、現在の契約範囲や操作の分かりやすさで選ぶ案があります。片方は修正が多いなら、その作業への使用を保留する案があります。どちらも数字や未確定事項を変えるなら、導入を急がず、指示と確認手順を見直します。
点数を足して終わりにせず、「絶対に落とせない条件」を先に決めるのが今回の提案です。日時や金額を間違える回答を、読みやすさの点数で相殺しないようにします。
今日の一歩は、架空の案内1件と、合格条件3つを用意すること。乗り換えるかどうかの判断を、印象だけでなく、自分の店の確認記録に変えてみてください。
この記事の販売者
