엔티티 식별

두 데이터 세트가 동일한 엔터티에서 나온 것인지 식별합니다. 识别两组数据是否来自同一主体

이것은 MCP(Model Context Protocol) 서버입니다. 这是一个支持MCP协议的服务器.

데이터 비교 도구

이 도구는 두 데이터 집합을 비교하고, 두 값의 정확한 동일성과 의미적 동일성을 평가하는 포괄적인 방법을 제공합니다. 텍스트 정규화와 언어 모델을 활용하여 데이터가 동일한 엔터티에서 유래되었는지 확인합니다.

특징

• 텍스트 정규화 : 텍스트를 소문자로 변환하고, 구두점을 제거하고, 공백을 정규화합니다.

• 값 비교 : 목록의 순서를 무시하고 값을 직접적으로 의미적으로 비교합니다.

• JSON 트래버설 : JSON 객체의 각 키를 반복하고 해당 값을 비교합니다.

• 언어 모델 통합 : 생성 언어 모델을 사용하여 의미적 유사성을 평가하고 데이터가 동일한 엔터티에서 나왔는지에 대한 최종 판단을 제공합니다.

Related MCP server: Agentic RAG with MCP Server

설치

이 도구를 사용하려면 필요한 종속성이 설치되어 있어야 합니다. pip를 사용하여 종속성을 설치할 수 있습니다.

지엑스피1

용법

기능

1. normalize_text(텍스트) :

   • 입력 텍스트를 소문자로 변환하고, 구두점을 제거하고, 공백을 정규화하여 정규화합니다.

2. compare_values(val1, val2) :

   • 두 값을 정확하게, 의미적으로 비교합니다.

   • 값이 목록인 경우 의미 비교를 위해 요소의 순서는 무시됩니다.

3. compare_json(json1, json2) :

   • 두 JSON 객체를 키별로 비교합니다.

   • compare_values 사용하여 각 키의 값을 평가합니다.

   • 의미적 유사성을 평가하기 위해 언어 모델을 통합하고 최종 판단을 제공합니다.

예

import json
import genai
import re

# Define your JSON objects
json1 = {
    "name": "John Doe",
    "address": "123 Main St, Anytown, USA",
    "hobbies": ["reading", "hiking", "coding"]
}

json2 = {
    "name": "john doe",
    "address": "123 Main Street, Anytown, USA",
    "hobbies": ["coding", "hiking", "reading"]
}

# Compare the JSON objects
comparison_results = compare_json(json1, json2)

# Generate final matching result
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("综合这些信息，你认为可以判断两个数据来自同一主体吗？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)

기여하다

기여를 환영합니다! 이슈를 개설하거나 풀 리퀘스트를 제출해 주세요.

특허

이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 라이선스 파일을 참조하세요.

연락하다

질문이나 제안 사항이 있으시면 저에게 연락해 주세요.

• 이메일: u3588064@connect.hku.hk

• GitHub: u3588064@connect.hku.hk 。

위챗