Identificación de entidad
Identificar si dos conjuntos de datos pertenecen a la misma entidad. 识别两组数据是否来自同一主体
Este es un servidor MCP (Protocolo de contexto modelo). 这是一个支持MCP协议的服务器.
Herramienta de comparación de datos
Esta herramienta ofrece una forma integral de comparar dos conjuntos de datos, evaluando la igualdad exacta y semántica de sus valores. Utiliza la normalización de texto y un modelo de lenguaje para determinar si los datos provienen de la misma entidad.
Características
- Normalización de texto : convierte el texto a minúsculas, elimina la puntuación y normaliza los espacios en blanco.
- Comparación de valores : compara valores de forma directa y semántica (ignorando el orden de las listas).
- Recorrido JSON : itera a través de cada clave en los objetos JSON y compara los valores correspondientes.
- Integración del modelo de lenguaje : utiliza un modelo de lenguaje generativo para evaluar la similitud semántica y proporcionar un juicio final sobre si los datos provienen de la misma entidad.
Instalación
Para usar esta herramienta, asegúrese de tener instaladas las dependencias necesarias. Puede instalarlas con pip:
Uso
Funciones
- normalizar_texto(texto) :
- Normaliza el texto de entrada convirtiéndolo a minúsculas, eliminando la puntuación y normalizando los espacios en blanco.
- comparar_valores(val1, val2) :
- Compara dos valores de forma exacta y semántica.
- Si los valores son listas, ignora el orden de los elementos para la comparación semántica.
- comparar_json(json1, json2) :
- Compara dos objetos JSON clave por clave.
- Utiliza
compare_values para evaluar los valores de cada clave. - Integra un modelo de lenguaje para evaluar la similitud semántica y proporciona un juicio final.
Ejemplo
import json
import genai
import re
# Define your JSON objects
json1 = {
"name": "John Doe",
"address": "123 Main St, Anytown, USA",
"hobbies": ["reading", "hiking", "coding"]
}
json2 = {
"name": "john doe",
"address": "123 Main Street, Anytown, USA",
"hobbies": ["coding", "hiking", "reading"]
}
# Compare the JSON objects
comparison_results = compare_json(json1, json2)
# Generate final matching result
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("综合这些信息，你认为可以判断两个数据来自同一主体吗？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)
Contribuyendo
¡Agradecemos sus contribuciones! Abra un problema o envíe una solicitud de incorporación de cambios.
Licencia
Este proyecto está licenciado bajo la Licencia MIT. Consulte el archivo de LICENCIA para más detalles.
Si tienes alguna pregunta o sugerencia, por favor ponte en contacto conmigo:
WeChat