Entitätsidentifikation

Identifizieren Sie, ob zwei Datensätze von derselben Entität stammen. 识别两组数据是否来自同一主体

Dies ist ein MCP-Server (Model Context Protocol). 这是一个支持MCP协议的服务器.

Datenvergleichstool

Dieses Tool bietet eine umfassende Möglichkeit, zwei Datensätze zu vergleichen und sowohl die exakte als auch die semantische Übereinstimmung ihrer Werte zu bewerten. Es nutzt Textnormalisierung und ein Sprachmodell, um festzustellen, ob die Daten von derselben Entität stammen.

Merkmale

• Textnormalisierung : Wandelt Text in Kleinbuchstaben um, entfernt Satzzeichen und normalisiert Leerzeichen.

• Wertevergleich : Vergleicht Werte direkt und semantisch (ohne Berücksichtigung der Reihenfolge bei Listen).

• JSON-Traversierung : Durchläuft jeden Schlüssel in den JSON-Objekten und vergleicht die entsprechenden Werte.

• Sprachmodellintegration : Verwendet ein generatives Sprachmodell, um semantische Ähnlichkeiten zu bewerten und eine endgültige Beurteilung darüber abzugeben, ob die Daten von derselben Entität stammen.

Related MCP server: Agentic RAG with MCP Server

Installation

Um dieses Tool zu verwenden, stellen Sie sicher, dass Sie die erforderlichen Abhängigkeiten installiert haben. Sie können diese mit pip installieren:

pip install genai

Verwendung

Funktionen

1. normalize_text(text) :

   • Normalisiert den Eingabetext, indem er in Kleinbuchstaben umgewandelt, Satzzeichen entfernt und Leerzeichen normalisiert werden.

2. Vergleichswerte(Wert1, Wert2) :

   • Vergleicht zwei Werte sowohl exakt als auch semantisch.

   • Wenn es sich bei den Werten um Listen handelt, wird die Reihenfolge der Elemente beim semantischen Vergleich ignoriert.

3. compare_json(json1, json2) :

   • Vergleicht zwei JSON-Objekte Schlüssel für Schlüssel.

   • Verwendet compare_values , um die Werte jedes Schlüssels auszuwerten.

   • Integriert ein Sprachmodell zur Bewertung semantischer Ähnlichkeiten und liefert ein endgültiges Urteil.

Beispiel

import json
import genai
import re

# Define your JSON objects
json1 = {
    "name": "John Doe",
    "address": "123 Main St, Anytown, USA",
    "hobbies": ["reading", "hiking", "coding"]
}

json2 = {
    "name": "john doe",
    "address": "123 Main Street, Anytown, USA",
    "hobbies": ["coding", "hiking", "reading"]
}

# Compare the JSON objects
comparison_results = compare_json(json1, json2)

# Generate final matching result
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("综合这些信息，你认为可以判断两个数据来自同一主体吗？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)

Beitragen

Beiträge sind willkommen! Bitte melden Sie ein Problem oder senden Sie einen Pull Request.

Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert. Weitere Informationen finden Sie in der Datei LICENSE .

Kontakt

Bei Fragen und Anregungen kontaktieren Sie mich gerne:

• E-Mail: u3588064@connect.hku.hk

• GitHub: u3588064@connect.hku.hk 。

Wechat