Skip to main content
Glama
deenesjakoruzh
Jithu000000

Nectar AI Facility Agent

by Jithu000000
OverviewSchemaSourceRelated ServersDiscussionsAdmin
Python
Hybrid

Nectar AI Facility Agent

Автономный ассистент по управлению объектами на базе ИИ, созданный для конкурса Nectar Intelligent Facilities Platform.

Система позволяет операторам объектов взаимодействовать естественным образом через голос и даёт агенту возможность понимать запросы, направлять их в соответствующий рабочий процесс, извлекать знания об объекте с помощью RAG, получать актуальную информацию об объекте через инструменты MCP, рассуждать на основе нескольких источников, безопасно выполнять операционные действия и отвечать голосом.

1. Постановка задачи

Операторам объектов часто приходится расследовать проблемы, проверяя несколько источников информации, таких как:

  • Температура в здании

  • Статус активов HVAC

  • Показания датчиков

  • Энергопотребление

  • Активные оповещения

  • Связи между оборудованием

  • Процедуры технического обслуживания

  • Документация по устранению неполадок

Обычный чат-бот может отвечать на вопросы, но не может надёжно расследовать эксплуатационные проблемы, используя живые данные объекта и внутреннюю документацию.

Данный проект решает эту проблему, объединяя:

Голосовой ИИ + Маршрутизация LLM + RAG + MCP + Агентное рассуждение + Вызов инструментов + Контролируемые действия + Синтез речи

Цель — предоставить автономного ассистента по управлению объектом, а не простой чат-бот для вопросов и ответов.

2. Цели

Система предназначена для того, чтобы:

  1. Принимать ввод на естественном языке или голосом.

  2. Преобразовывать речь в текст.

  3. Понимать намерения пользователя.

  4. Направлять запрос в соответствующий агентный рабочий процесс.

  5. Извлекать информацию из документации объекта.

  6. Запрашивать живые данные объекта через инструменты MCP.

  7. Объединять информацию из нескольких источников.

  8. Рассуждать о состоянии объекта.

  9. Безопасно выполнять операционные действия после подтверждения.

  10. Преобразовывать итоговый ответ обратно в речь.

  11. Поддерживать диалоговое взаимодействие.

  12. Предоставлять обоснованные ответы и избегать неподтверждённых утверждений.

3. Высокоуровневая архитектура

                         USER
                          |
                    Voice / Text
                          |
                          v
                 Speech-to-Text
                          |
                          v
                    FastAPI API
                          |
                          v
                 Agent / LLM Router
                          |
          +---------------+----------------+
          |               |                |
          v               v                v
        RAG             MCP             General
       Agent            Tools             LLM
          |               |
          v               v
   Facility Docs      Live Facility
   Knowledge Base         Data
          |               |
          +-------+-------+
                  |
                  v
            Reasoning Layer
                  |
                  v
          Decision / Response
                  |
          +-------+--------+
          |                |
          v                v
     MCP Action           Answer
          |                |
          v                v
 Maintenance Request    Text-to-Speech
                              |
                              v
                         Voice Response

Technology Stack
Backend
Python
FastAPI
Uvicorn
Agent Orchestration
LangGraph
LLM-based routing
Agentic workflow
LLM
Google Gemini
RAG
LangChain
ChromaDB
HuggingFace Embeddings
Semantic retrieval
MCP
Model Context Protocol
MCP Server
MCP Client
Facility operation tools
Voice
SpeechRecognition
Browser Speech Recognition / Speech-to-Text
Browser Text-to-Speech
Frontend
HTML
CSS
JavaScript
Testing
Pytest

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

Conclusion

The Nectar AI Facility Agent demonstrates an autonomous AI workflow for intelligent facility operations.

The system combines:

Speech-to-Text
Text-to-Speech
LLM reasoning
Intelligent routing
RAG
Vector search
MCP
Tool calling
Synthetic facility data
Multi-step reasoning
Controlled operational actions
Confirmation-based safety
Automated testing

The key objective is to demonstrate how an AI agent can move beyond simple question answering and autonomously investigate facility problems using both organizational knowledge and live operational data while maintaining safety around operational actions.

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers

  • cpp-espace-mcp

    norm613
    F
    license
    A
    quality
    C
    maintenance
    MCP server for accessing the eSpace facilities management API, enabling work orders, events, equipment, and maintenance schedule operations from within Claude conversations.
    31
    -

  • MCP PLC Core

    Maxkrempl
    A
    license
    B
    quality
    C
    maintenance
    Universal MCP server for industrial PLC communication, enabling AI agents to read sensors, alarms, status, setpoints, and write setpoints via adapters for Modbus, S7, or custom PLCs.
    6
    MIT