AIに毎回同じ指摘をしているなら、それは仕組みが失敗しています
yuya
介護と障害福祉の事業所でAIを使い始めた人から、いちばん多く聞くのがこれです。毎回同じことを指示している。指摘したはずのことが、次の日には元に戻っている。
うちも同じでした。判定の基準を1つ決めてから止まりました。この記事は、その基準と、実際に作った3層の構造の話です。5分で読めます。
同じ指摘を2回したら、その仕組みは失敗している
AIの出力が気に入らないとき、直させれば直ります。問題はそこではありません。翌日また同じ直しをしているかどうかです。
私は判定をこれ1本にしました。同じ指摘を2回した時点で負け。増えた減ったの感想では判定しません。数えられるからです。
この基準を置くと、やることが変わります。出力を直すのではなく、次に同じ出力が出ない場所を直すようになります。
直す場所は3層に分かれている
うちのAI秘書は3層です。層を分けないと、直したつもりの内容が別の場所に上書きされます。
1層はルール。決まったことを1行で書き出す場所です。承認したものだけが入ります。
2層はスキル。手順を型にした場所です。求人票、議事録、記録の下書きのように、繰り返す作業ごとに分けます。
3層は記録。却下されたときに、何をどう却下されたかを書き戻す場所です。ここが無いとルールが増えません。
指摘が出たら、どの層の問題かを先に決めます。文体ならルール、手順の抜けならスキル、初めて出た失敗なら記録。
先週、私は自分のルールに違反しました
支払いを伴う確定ボタンは押さない、というルールを前日に承認していました。その翌日の作業で、私はそのボタンを押しにいきました。
原因は単純です。作業前にルールを読まなかった。ルールは書いてあるだけでは効きません。作業の直前に、その作業に関係する項目だけを読む工程を入れて、はじめて効きます。
だからうちでは、成果物を作る前に、関係するルールと過去の失敗だけを読み込む手順を最初に置いています。全部は読みません。長くなると精度が落ちるからです。
今日やる1手
5分で終わることを1つだけ。
過去1週間で、AIに2回以上出した同じ指摘を1つ書き出してください。テキストファイル1つで足ります。
書けたら、それが1層から3層のどれの問題かを横に書きます。それだけです。
1つ書けた人は、翌週に2つ目が書けます。3つたまったら、その時点で型にする価値があります。3つたまる前に型にすると、使わない型ができます。
この先に置いてあるもの
うちで実際に動いている3層の中身、ルールの書き方、失敗ログの様式、判定の条件は、別の記事にまとめました。プロフィールから見られます。
次は、記録と書類の残業を減らす手順を書きます。
