Skip to main content
Glama
deenesjakoruzh
Jithu000000

Nectar AI Facility Agent

by Jithu000000
OverviewSchemaSourceRelated ServersDiscussionsAdmin
Python
Hybrid

Nectar AI Facility Agent

Ein autonomer KI-Assistent für den Facility-Betrieb, entwickelt für die Nectar Intelligent Facilities Platform Challenge.

Das System ermöglicht es Facility-Betreibern, auf natürliche Weise per Sprache zu interagieren, und versetzt den Agenten in die Lage, Anfragen zu verstehen, an den passenden Workflow weiterzuleiten, Facility-Wissen per RAG abzurufen, Live-Facility-Informationen über MCP-Tools abzufragen, über mehrere Quellen hinweg zu schlussfolgern, operative Aktionen sicher auszuführen und per Sprache zu antworten.

1. Problemstellung

Facility-Betreiber müssen bei der Untersuchung von Problemen häufig mehrere Informationsquellen prüfen, wie zum Beispiel:

  • Gebäudetemperatur

  • Status der HVAC-Anlagen

  • Sensorwerte

  • Energieverbrauch

  • Aktive Alarme

  • Beziehungen zwischen Anlagen

  • Wartungsverfahren

  • Dokumentation zur Fehlerbehebung

Ein herkömmlicher Chatbot kann Fragen beantworten, aber keine betrieblichen Probleme zuverlässig anhand von Live-Facility-Daten und interner Dokumentation untersuchen.

Dieses Projekt adressiert dieses Problem durch die Kombination von:

Voice AI + LLM-Routing + RAG + MCP + Agentisches Denken + Tool-Aufrufe + Kontrollierte Aktionen + Text-to-Speech

Das Ziel ist ein autonomer Assistent für den Facility-Betrieb und nicht einfach ein Frage-Antwort-Chatbot.

2. Ziele

Das System ist darauf ausgelegt:

  1. Natürliche Sprache oder Spracheingabe zu empfangen.

  2. Sprache in Text umzuwandeln.

  3. Die Absicht des Benutzers zu verstehen.

  4. Die Anfrage an den passenden Agent-Workflow weiterzuleiten.

  5. Informationen aus der Facility-Dokumentation abzurufen.

  6. Live-Facility-Daten über MCP-Tools abzufragen.

  7. Mehrere Informationsquellen zu kombinieren.

  8. Über Facility-Bedingungen zu schlussfolgern.

  9. Operative Aktionen nach Bestätigung sicher auszuführen.

  10. Die endgültige Antwort wieder in Sprache umzuwandeln.

  11. Konversationelle Interaktion aufrechtzuerhalten.

  12. Fundierte Antworten zu liefern und unbelegte Behauptungen zu vermeiden.

3. Hochrangige Architektur

                         USER
                          |
                    Voice / Text
                          |
                          v
                 Speech-to-Text
                          |
                          v
                    FastAPI API
                          |
                          v
                 Agent / LLM Router
                          |
          +---------------+----------------+
          |               |                |
          v               v                v
        RAG             MCP             General
       Agent            Tools             LLM
          |               |
          v               v
   Facility Docs      Live Facility
   Knowledge Base         Data
          |               |
          +-------+-------+
                  |
                  v
            Reasoning Layer
                  |
                  v
          Decision / Response
                  |
          +-------+--------+
          |                |
          v                v
     MCP Action           Answer
          |                |
          v                v
 Maintenance Request    Text-to-Speech
                              |
                              v
                         Voice Response

Technology Stack
Backend
Python
FastAPI
Uvicorn
Agent Orchestration
LangGraph
LLM-based routing
Agentic workflow
LLM
Google Gemini
RAG
LangChain
ChromaDB
HuggingFace Embeddings
Semantic retrieval
MCP
Model Context Protocol
MCP Server
MCP Client
Facility operation tools
Voice
SpeechRecognition
Browser Speech Recognition / Speech-to-Text
Browser Text-to-Speech
Frontend
HTML
CSS
JavaScript
Testing
Pytest

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

The key objective is to demonstrate how an AI agent can move beyond simple question answering and autonomously investigate facility problems using both organizational knowledge and live operational data while maintaining safety around operational actions.

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers

  • cpp-espace-mcp

    norm613
    F
    license
    A
    quality
    C
    maintenance
    MCP server for accessing the eSpace facilities management API, enabling work orders, events, equipment, and maintenance schedule operations from within Claude conversations.
    31
    -

  • MCP PLC Core

    Maxkrempl
    A
    license
    B
    quality
    C
    maintenance
    Universal MCP server for industrial PLC communication, enabling AI agents to read sensors, alarms, status, setpoints, and write setpoints via adapters for Modbus, S7, or custom PLCs.
    6
    MIT