RAG用の原本を更新しても、検索で使うデータへ直ちに反映されるとは限りません。 文書をあらかじめ取り込んで検索用のデータを作る構成では、原本の保存と、その後の取り込み・検索を分けて確かめます。

ここで扱うのは、そのような構成で「修正前の案内が答えに残る」場合です。質問のたびに原本を直接取得する仕組みなど、すべてのRAGに同じ更新手順があるわけではありません。

原本・検索用データ・取得結果を分けて見る

更新後の原本と、更新前の検索用データ・取得結果が食い違う状態を示す模式図
左の青い印は更新後、中央と右の四角い印は更新前を表します。原本だけが新しくなった場合の模式図で、特定製品の画面ではありません。

架空の会社で、備品の貸出期間を「7日間」から「14日間」へ変更したとします。原本を開くと14日間なのに、案内AIは7日間と答える。ここで、AIの回答だけを見て「まだ学習していない」と判断すると、確かめる場所を取り違えるかもしれません。

確かめる場所この例で見るもの分かること
原本更新したファイルの本文と識別子意図した文書が14日間になったか
取り込み処理対象ファイル、処理結果、実行日時その変更が処理されたか
検索の取得結果AIへ渡された文章と、その出所実際に14日間の案内を取得したか

検索用データには、文書の写しや分割した文章、検索のための索引などが含まれる構成があります。どれを保存するかは製品や設計によって違うため、管理画面に同じ三つの欄があるという意味ではありません。

更新を反映するタイミングは、サービスの設定による

Amazon Bedrockの同期資料では、データソースのファイルを追加・変更・削除した後、Knowledge Baseへ同期する手順が説明されています。変更を検出した文書に対して、解析や分割、検索用の処理を行う構成です。

一方、Azure AI Searchのスケジュール資料では、インデクサーを定期実行して原本の変更を取り込む方法が説明されています。スケジュールの有無に加え、実行待ちや処理の長さも反映時点に関係します。

どちらも、原本の保存時刻だけでは検索への反映を判断できない例です。ただし、「必ず手動同期が必要」「何分待てばよい」という共通ルールにはできません。利用中のサービスの同期方式と実行結果を確かめます。

取り込みが終わったら、答えより先に取得した文章を見る

更新した一文が検索結果に含まれるかを確認できると、問題を絞りやすくなります。管理者向けの検索テストやログがある場合は、回答文だけでなく、その元になった文章を見ます。

  • 取得した文章がまだ7日間なら、対象ファイルの取り違え、取り込み失敗、検索先などを調べる。
  • 取得した文章は14日間なのに回答が7日間なら、更新の反映だけでは説明できない。ほかに渡された資料や回答の作り方も確認する。
  • 新旧の案内が両方出るなら、旧ファイルや別のコピーが検索対象に残っていないか確認する。

これは調査の分け方です。古い文章が見つかっただけで、原因が一つに決まるわけではありません。問い合わせの際には、ファイル名だけでなく、識別子や保存場所も添えると、同名の別文書と区別できます。

更新日時だけの比較にも限界があります。「処理は成功」と表示されていても、調べたいファイルが対象に含まれているかは別です。変更した一文そのものが検索で取れるかまで見ると、確認が具体的になります。

過去の回答を開き直すことと、新しく質問することは違う

原本と検索用データが更新されても、すでに保存された回答文まで自動で書き換わるとは限りません。更新後の状態を調べるときは、以前の回答画面を眺めるだけでなく、新しい問い合わせとして試します。

また、検索結果や回答を一時保存するキャッシュがあるサービスでは、その再利用が影響する可能性もあります。キャッシュのない構成にまで、この説明を当てはめる必要はありません。利用者側から見えない場合は、担当者へ確認する項目になります。

問い合わせるなら、「いつ、どの文書の、どの一文を変えたか」「いつ質問し、何と答えたか」を残しておくと伝わります。取得された文章まで確認できたなら、その版も添えます。

RAGの更新確認は、モデル全体を学習し直すかどうかより、今回の回答へ何が渡ったかを追う作業です。学習によってモデルを調整する話は、ファインチューニングの仕組みで別に整理しています。