Skip to main content
Glama
deenesjakoruzh
Jithu000000

Nectar AI Facility Agent

by Jithu000000
OverviewSchemaSourceRelated ServersDiscussionsAdmin
Python
Hybrid

Agente de Instalaciones con IA de Nectar

Un asistente autónomo de operaciones de instalaciones con IA, creado para el desafío de la Plataforma Inteligente de Instalaciones de Nectar.

El sistema permite a los operadores de instalaciones interactuar de forma natural mediante voz y permite que el agente comprenda solicitudes, las enrute al flujo de trabajo adecuado, recupere conocimiento de las instalaciones mediante RAG, acceda a información en vivo de las instalaciones a través de herramientas MCP, razone sobre múltiples fuentes, realice acciones operativas de forma segura y responda por voz.

1. Planteamiento del problema

Los operadores de instalaciones a menudo necesitan investigar incidencias consultando múltiples fuentes de información, como:

  • Temperatura del edificio

  • Estado de los activos de climatización (HVAC)

  • Lecturas de sensores

  • Consumo energético

  • Alertas activas

  • Relaciones entre equipos

  • Procedimientos de mantenimiento

  • Documentación de resolución de problemas

Un chatbot convencional puede responder preguntas, pero no puede investigar de forma fiable problemas operativos utilizando datos en vivo de las instalaciones y documentación interna.

Este proyecto aborda ese problema combinando:

IA de voz + Enrutamiento de LLM + RAG + MCP + Razonamiento de agente + Llamada a herramientas + Acciones controladas + Conversión de texto a voz

El objetivo es ofrecer un asistente autónomo de operaciones de instalaciones, en lugar de un simple chatbot de preguntas y respuestas.

2. Objetivos

El sistema está diseñado para:

  1. Recibir entradas de voz o de lenguaje natural.

  2. Convertir la voz en texto.

  3. Comprender la intención del usuario.

  4. Enrutar la solicitud al flujo de trabajo de agente adecuado.

  5. Recuperar información de la documentación de las instalaciones.

  6. Consultar datos en vivo de las instalaciones a través de herramientas MCP.

  7. Combinar múltiples fuentes de información.

  8. Razonar sobre las condiciones de las instalaciones.

  9. Ejecutar de forma segura acciones operativas tras la confirmación.

  10. Convertir la respuesta final de nuevo en voz.

  11. Mantener una interacción conversacional.

  12. Proporcionar respuestas fundamentadas y evitar afirmaciones sin respaldo.

3. Arquitectura de alto nivel

                         USER
                          |
                    Voice / Text
                          |
                          v
                 Speech-to-Text
                          |
                          v
                    FastAPI API
                          |
                          v
                 Agent / LLM Router
                          |
          +---------------+----------------+
          |               |                |
          v               v                v
        RAG             MCP             General
       Agent            Tools             LLM
          |               |
          v               v
   Facility Docs      Live Facility
   Knowledge Base         Data
          |               |
          +-------+-------+
                  |
                  v
            Reasoning Layer
                  |
                  v
          Decision / Response
                  |
          +-------+--------+
          |                |
          v                v
     MCP Action           Answer
          |                |
          v                v
 Maintenance Request    Text-to-Speech
                              |
                              v
                         Voice Response

Technology Stack
Backend
Python
FastAPI
Uvicorn
Agent Orchestration
LangGraph
LLM-based routing
Agentic workflow
LLM
Google Gemini
RAG
LangChain
ChromaDB
HuggingFace Embeddings
Semantic retrieval
MCP
Model Context Protocol
MCP Server
MCP Client
Facility operation tools
Voice
SpeechRecognition
Browser Speech Recognition / Speech-to-Text
Browser Text-to-Speech
Frontend
HTML
CSS
JavaScript
Testing
Pytest

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

The key objective is to demonstrate how an AI agent can move beyond simple question answering and autonomously investigate facility problems using both organizational knowledge and live operational data while maintaining safety around operational actions.

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers

  • cpp-espace-mcp

    norm613
    F
    license
    A
    quality
    C
    maintenance
    MCP server for accessing the eSpace facilities management API, enabling work orders, events, equipment, and maintenance schedule operations from within Claude conversations.
    31
    -

  • MCP PLC Core

    Maxkrempl
    A
    license
    B
    quality
    C
    maintenance
    Universal MCP server for industrial PLC communication, enabling AI agents to read sensors, alarms, status, setpoints, and write setpoints via adapters for Modbus, S7, or custom PLCs.
    6
    MIT