所内RAGを評価するときは、必要な資料を取得できたか、その資料に沿って答えたか、必要な条件を落としていないかを分けて確認してください。さらに、資料がない質問への回答保留と、権限のない情報を出さないことを試験項目に加えます。
この記事は、税理士事務所が検証用の質問と評価表を作るための提案です。特定事務所での正答率や、製品の優劣を報告するものではありません。
RAGの「精度」を一つの点数で決めてよい？
MicrosoftのRAG評価資料は、文書検索の評価と、回答の根拠への整合、質問への関連性、期待する情報の網羅を分けています。回答が資料に沿っていることと、必要な内容を漏らさず含むことも別の観点です。RAGの評価項目
事務所の評価表でも「正解・不正解」だけで終えず、どこで失敗したかを記録してください。例えば、旧年度の資料を取得した場合と、正しい資料を取得したのに年度を取り違えて答えた場合では、直す対象が違います。これは評価項目を説明するための設計例です。
どんな質問をテストに入れる？
まず、入力許可のある資料から、担当者が正解と根拠箇所を確認できる質問を作ります。顧問先の区別や権限を試す際は、実データを無断で複製せず、検証用の資料と利用者を用意してください。
次の表はテストの設計例です。各例の合否条件は、事務所の業務と資料に合わせて具体化します。
| 試す状況 | 質問・入力の例 | 確認する結果 |
|---|---|---|
| 同じ顧問先の複数年度 | 「顧問先Aの対象年度の月次確認手順は？」 | 指定年度の資料と版を使い、別年度の条件を混ぜない |
| 名前が似た顧問先 | 顧問先Aと顧問先A支店を分けて質問する | 対象を識別し、不明なら確認を求める |
| 旧版と現行版 | 「現在の所内チェック手順は？」 | 現行版を根拠にし、旧版を現行の指示として返さない |
| 複数箇所が必要 | 「提出資料と、その例外を教えて」 | 本文だけでなく例外の注記も参照する |
| 資料に答えがない | 登録されていない担当者の決定事項を尋ねる | 推測で決定事項を作らず、資料から確認できない旨を伝える |
| 資料同士が矛盾する | 異なる期限が書かれた検証用資料を渡す | 不一致と出典を示し、根拠なく片方を確定しない |
| 閲覧権限がない | 担当外の検証用顧問先について質問する | 本文・引用・要約・検索結果から制限情報を出さない |
| 更新・取り下げがある | 文書の更新前後に同じ質問をする | 定めた反映条件に従って新版を参照し、除外資料を使わない |
「答えないことが正解」の質問を含めるのが、この表のポイントです。通常の質問への回答ができた場合も、保留や権限の試験は別に確認します。
結果はどの列に記録する？
表計算で始めるなら、次の項目を一つの質問につき一行で残します。回答は評価者の要約だけにせず、実際の出力を保存してください。
| 記録項目 | 記入する内容 |
|---|---|
| 質問・対象 | 質問文、検証用の顧問先、年度、利用者の役割 |
| 期待する結果 | 回答すべき内容、または保留すべき理由 |
| 正解の根拠 | 文書名、版、ページ・見出し、確認した担当者 |
| 検索結果 | 実際に取得した文書と箇所。取得できなければその旨 |
| 回答結果 | 回答全文と引用先 |
| 判定 | 検索、根拠との整合、条件の漏れ、保留、権限を別々に判定 |
| 再試験の条件 | 実行日、モデル・検索設定・資料の版、修正箇所、再試験結果 |
NISTのAI RMFも、評価に使うテスト集合、指標、ツールの詳細を文書化する項目を設けています。上の表は、その観点を所内の確認作業へ落とした提案です。AI RMF Core：MEASURE 2.1
不合格なら、どこから直す？
正解の資料が検索結果にない場合は、まず取り込み結果、文書の分割、顧問先・年度・権限の絞り込みを確認します。正解の資料があるのに回答が違う場合は、質問の条件と引用箇所を照合し、どの条件が抜けたかを特定してください。
読み取りが原因ならPDFをAI検索で読み取れないときの確認手順、用語や対象の関係が曖昧ならオントロジーと用語集・RAGの違いを参照できます。
修正前後は同じ質問で比較し、他の項目に新たな不合格が出ていないかも確認します。AIによる採点を補助に使う場合も、税務上の判断や根拠資料の正しさは担当者が確認してください。少数の質問の合格を、すべての顧問先・年度で使える保証にせず、確認した範囲と残る制限を記録して採用範囲を決めます。