Groundlens: RAG回答のための校正者

groundlens.dev

仕組み · インストール · クイックスタート · MCPサーバー · 制限事項 · 再現性

Groundlensは、モデルが書いたもののための校正者です。ソースが裏付けない単語に印を付け、それぞれが何と言うべきだったかを示します。RAGの回答が、取得されたソースに対してグラウンディングされ忠実であるかをチェックします。これは、人々が幻覚検出、引用チェック、RAG評価に頼る仕事ですが、Groundlensは、しきい値を設定するための判定やスコアではなく、レビュアーのための印と証拠を返す点で異なります。

QUESTION    What is the invoice total?
SOURCE      ...the total amount due is 10,000 dollars, payable within 30 days...
ANSWER      The invoice total is 1,000 dollars, due in 30 days.

GROUNDLENS  1,000   nothing supports this.   Closest in invoice.pdf#p1: '10,000'

答えが間違っているとは決して言いません。どの単語を見るべきか、どのドキュメントを開くべきかを示します。5分の代わりに30秒の人間の注意で済みます。

仕組み

Groundlensは、単語と数値の比較を2つの異なる方法で行います。

Groundlensは平均ではなく、最低スコアを出力として提供します。トークン類似度の指標はすべて平均で集約されますが、平均は単一トークンのエラーが埋もれてしまう場所です。

実用的な例：10は100ではない

取得されたドキュメントには、請求額は10,000ドルと記載されています。回答は1,000ドルと述べています。人間なら、金融の学位がなくても即座に気づきます。

埋め込み類似度はそうではありません。正しい答えと間違った答えのコサイン類似度は約0.99で、エラーはインクの滴が池に溶けるようにベクトルに溶け込みます。LLM判定も同様です。もっともらしさを読むため、「合計は1,000ドル」という文は請求書について完全にもっともらしい文です。学習済みスパン検出器も同様です。1桁の置換はトレーニングラベルではまれだからです。

文エンコーダーは、語彙、トピック、構造によってテキストを整理します。真実によって整理することは決してありません。正しい文の中の間違った数字は、パラフレーズを同一視するエンコーダーにとっては、ほぼパラフレーズです。

その請求書では、間違った回答の平均サポートは0.79で、問題なさそうです。最も弱いアンカーは0.00で、余白の印です。

運用上のしきい値

このライブラリにはデフォルトのしきい値はありません。しきい値はメソッドのプロパティではなく、デプロイメントのプロパティです。エンコーダー、データ、そして偽陰性と比較した偽陽性のコストによって異なります。ここではそのどれも不明です。

このルールの背後には測定があります。実行した動作点グリッド全体で、95%の再現率での最良の偽陽性率は0.65で、テストしたすべてのシングルパス検出器（これを含む）で同じでした。規制されたレビューが実際に必要とする再現率では、そのグリッドのどの固定カットも使用できません。カットを出荷することは、すでに成立しないとわかっている数値を出荷することを意味します。

groundlensが提供するものは次のとおりです。

• 単語ごとのサポートスコア。低いほどソースによるサポートが少ないことを意味します。

• 証拠付きのマーク：単語、そのスパン、サポート、および最も近いエビデンス文。レビューアは数秒で任意の呼び出しを確認できます。

• 独自のラベル付きデータにカットを適合させる関数calibrate()。200未満のラベル付き例では実行を拒否します。それを下回るとカットがノイズになるためです。

パイプラインでしきい値が必要な場合は、ラベル付きデータでcalibrate()を実行します：

from groundlens import calibrate

point = calibrate(labelled, target_recall=0.95)
print(point.threshold, point.fpr, point.fpr_ci95)   # read the fpr first

calibrate()には少なくとも200のラベル付き例が必要です。それを下回ると、95%の再現率しきい値がわずかなポイントから推定されるためです。

Related MCP server: Arkheia Hallucination Detection MCP

インストール

pip install groundlens              # zero runtime dependencies. Not numpy, not torch
pip install "groundlens[encoder]"   # + the reference sentence encoder
pip install "groundlens[encoder,mcp]"   # + the MCP server, for Claude Desktop and friends

コアインストールはパッケージを一切取り込みません。もし変更があればCIジョブがビルドを失敗させます。以前のバージョンは、何かをする前に約2ギガバイトのディープラーニングスタックをインストールしていました。

クイックスタート

from groundlens import proofread, SentenceTransformerEncoder

answer = "The invoice total is 4.75% payable within 45 days."
sources = [("policy.pdf#p3", "The rate stated in the policy is 3.90% and the term is 30 days.")]

marks = proofread(answer, sources, encoder=SentenceTransformerEncoder(), k=2)

print(marks.report())
#  4.75%   support 0.00    nearest in policy.pdf#p3: '3.90%'
#  45      support 0.00    nearest in policy.pdf#p3: '30'

すべてのマークには領収書が付いています：

for anchor in marks.weakest:
    anchor.text            # '4.75%'          the word in the answer
    anchor.span            # (21, 26)         where it sits
    anchor.kind            # 'numeral'        checked by arithmetic, not meaning
    anchor.support         # 0.0              absent from the sources
    anchor.evidence_id     # 'policy.pdf#p3'  which document to open
    anchor.evidence_text   # '3.90%'          what it should have matched

シェルから：

groundlens read --answer answer.txt --context policy.pdf#p3=policy.txt

MCPサーバー

同じ校正者がアシスタントの中にいます。GroundlensにはMCPサーバーが同梱されているため、Claude Desktop、Claude Code、Cursor、VS Code、その他のMCPクライアントは、会話を離れることなく回答をソースと照合できます。stdioを介してローカルで実行されます。テキストが外部に送信されることはありません。

pip install "groundlens[encoder,mcp]"
python -m groundlens.mcp

次に、クライアントでそれを指定します。claude_desktop_config.json、またはCursorとVS Codeの同等のmcp.jsonで：

{
  "mcpServers": {
    "groundlens": {
      "command": "python",
      "args": ["-m", "groundlens.mcp"]
    }
  }
}

PATHにあるPythonでない場合は、GroundlensがインストールされているPythonへの絶対パスを使用します：/path/to/venv/bin/python。

たった一つのツール

find_unsupported_words(answer, sources, k=4, locale="und")

最も弱いアンカーを、そのレシート、フロア、エンコーダーID、および検出結果のsha256とともに返します：

{
  "weakest_anchors": [
    {
      "word": "4.75%",
      "support": 0.0,
      "checked_by": "arithmetic",
      "closest_in_sources": "3.90%",
      "source_id": "policy.pdf#p3",
      "notes": []
    }
  ],
  "floor": 0.0,
  "n_marked": 12,
  "encoder_id": "all-mpnet-base-v2@<revision-sha>",
  "sha256": "..."
}

意図的に1つのツールです。以前のサーバーは3つを宣伝していましたが、それが、誰もインストールする前に1つの製品が3つのストーリーになる方法です。

このライブラリの他のすべての場所と同様に、ここには判定もしきい値もありません。数値のsupportが0.00の場合、その値がソースに存在しないことを意味します。単語の場合、語彙アンカーが見つからなかったことを意味し、これは忠実な言い換えでは普通のことです。サーバーはマークを報告し、読者が判断します。

エンコーダーは起動時ではなく最初の呼び出しでロードされ、モデルは初回使用時に一度だけダウンロードされます（約420 MB）。

制限事項

• 計算された値を検証することはできません。「収益が5Mから15Mに増加した」というソースに対する「収益が3倍になった」など。

• 単語チャネルは、単語がソースによってサポートされているかどうかをチェックします。正しいものに付随しているかどうかはチェックしません。回答が請求書Aについて「30日で支払可能」と述べており、同じコンテキストの別の場所で30日が請求書Bに属している場合、単語はサポートされており、マークは表示されません。

• 推論をチェックすることはできません。それは含意モデルの役割です。

• 取得を継承します。パッセージが間違っていれば、回答のグラウンディングも間違っています。

• セグメンテーションはスペース区切りのスクリプトを想定しており、テキストが主にCJKまたはタイ語の場合は、偽装するのではなく警告を発します。

再現性

• 数値チャネルは正確です。 10進比較、固定算術コンテキスト、ロケールは引数から取得され、LC_ALLからは決して取得されません。どのマシンでもバイト単位で同一です。CIはPYTHONHASHSEED=randomとトルコロケールの下で10のOS×Pythonの組み合わせでそれを証明しています。

• 語彙チャネルは、固定されたエンコーダーのリビジョンからのfloat32コサインです。 モデル名ではありません。静かな再アップロードによって公開したすべての数値が変わるためです。プラットフォーム間で1e-6まで再現され、最も弱いアンカーの順序は安定しています。x86とApple Siliconの間でビット単位で同一ではなく、そのような主張はありません。

• marks.sha256は構造と数値サポートを正確にカバーし、語彙サポートを小数第6位に丸めます。ハッシュを再現すると、算術の最後のビットではなく、検出結果が再現されます。

groundlens.dev · PyPI · Retractions · Contributing · Apache-2.0