税理士事務所のRAGは何をテストする?年度・顧問先・根拠を確かめる評価表
所内RAGの回答が正しいか、どう評価する?年度違い・顧問先違い・資料不足を含むテスト例と記録表で、検索結果、回答の根拠、回答保留、権限を分けて確認します。
所内RAGの回答が正しいか、どう評価する?年度違い・顧問先違い・資料不足を含むテスト例と記録表で、検索結果、回答の根拠、回答保留、権限を分けて確認します。
オントロジーは用語集・ナレッジグラフ・RAGと何が違う?顧問先・案件・担当者の具体例と比較表で、用語の定義、データの関係、検索の役割を整理します。表計算で始める定義表も紹介します。
AI検索を始める前に全資料の整理は必要?一つの業務から正本・版・更新担当を決め、答えられない質問を改善につなげる手順と、引き継ぎに使える記録表を紹介します。
スキャンPDF、表、長い文書をRAGで検索する前に、何を確認する?文字抽出・版管理・権限・引用元を点検する表と、読み取りと検索の失敗を分ける確認手順を紹介します。
DMS(保管・権限・統制)とAI検索(探索・要約・回答)は役割が違います。士業事務所で両者を順序立てて入れていく考え方と、契約条件で見ておきたい観点をご紹介します。
所内RAGの回答に引用元があっても、そのまま顧問先への説明に使えるとは限りません。回答と原文の対応、文書の版、閲覧権限を確認する表と、引用の欠落や食い違いを見つける試用例を紹介します。
RAGが3年前の旧版ひな形を返してしまう場面に備えて、メタデータ・改正前後のフォルダ分離・引用元表示・定期棚卸しを業務の流れに置く運用例をご紹介します。
士業事務所の文書をAI/RAGに渡す前に必要な「機密度・業務種別・保存期限」の観点と、既存文書の棚卸し手順をご紹介します。
労務相談の履歴をAIで検索できるようにする前に、業務文書として扱うか機密情報として扱うかを決める順序があります。社労士法・個人情報保護法・顧問契約の三つの観点から、分類・権限・送信境界を業務の中に置く流れをご紹介します。
RAG導入前に、どの資料をどこまで整理する?年度・顧問先・版・閲覧権限の確認表と、メタデータとオントロジーの役割の違い、取り込み後の照合手順を紹介します。
社内の3タスクで、台帳だけを渡す条件と一次情報を参照できる条件を比較しました。限定的な実験の方法・結果・限界を明示し、全モデルや全士業事務所へ一般化せずに、出典と更新経路を点検する材料として紹介します。
国税庁・ASBJ・e-Gov などの公的情報のみを参照する AI は、 ハルシネーションを減らす点で有効ですが、 士業実業務の大半は公的情報の外側にあります。 業務に必要な四つのデータ範囲と、 それぞれに必要な AI 設計を整理します。
社内 RAG・文書検索 AI を入れる前に、所内文書を「渡してよい/渡さない方が安全/中間ゾーン」で仕分けておくと、守秘義務・利益相反・要配慮個人情報の論点が後から立ち上がりにくくなります。仕分けの考え方と運用例をご紹介します。
ChatGPTで所内資料を参照できるなら、RAGの追加構築は必要?ファイル添付・既存サービスとの接続・独自構築を、対象資料、権限、更新、引用、運用の確認表で比較します。
新人がベテランに同じ質問を10回する状況をAI化する前に、鮮度・引用元・権限の3点で整理する論点と、内製と委託の境界を提示します。
士業事務所で AI を業務に入れる前に通る文書の棚卸しを、分類・ラベル付け・廃止・統合・暗号化の流れで見ていきます。所内・外注・専門家の担い分けも合わせて扱います。
「RAG」 に関する業務課題を、 60 分の初回相談で整理できます。