MCP - Titan Memory Server

Сервер памяти Titan

Реализация сервера Model Context Protocol (MCP) с улучшенной моделью Titan Memory.

Обзор

Этот проект реализует модель памяти для больших языковых моделей (LLM), которая разработана для улучшения возможностей памяти в генеративных системах ИИ. Она создана с использованием TensorFlow.js и реализована как сервер MCP, что упрощает интеграцию с любым клиентом, совместимым с MCP.

Функции

В настоящее время реализовано:

• Механизм многоголового внимания
• Иерархическая структура памяти
• Сохранение состояния памяти
• Интеграция с протоколом контекста модели (MCP)
• Воспроизведение памяти для улучшения обучения
• Интеграция кэша LLM
• Динамическое распределение памяти
• Долговременное хранение памяти
• Расширенное сжатие памяти
• Постоянная память, специфичная для конкретной задачи
• Обновления памяти на основе импульса
• Конфигурируемые варианты интеграции памяти (MAC/MAG)

Использование

Сервер предоставляет несколько инструментов через протокол контекста модели (MCP):

• init_model : Инициализация модели памяти с пользовательскими конфигурациями
• forward : выполнить прямой проход по модели
• train_step : Выполнить один шаг обучения
• train_sequence : Обучение на последовательности векторов
• save_model : Сохранить текущие веса модели
• load_model : Загрузить веса модели из сохраненного файла
• get_status : Получить текущий статус модели
• store_memory_state : Сохранить текущее состояние памяти с помощью ключа
• retrieve_memory_state : Извлечь сохраненное состояние памяти
• compress_memory : Сжать текущее состояние памяти для экономии места
• memory_replay : Выполнение тренировки воспроизведения памяти для улучшения обучения

Установка

Запуск сервера

Это запустит сервер MCP на порту 3000.

Разработка

Тестирование

Расширенные функции

Воспроизведение памяти

Механизм воспроизведения памяти сохраняет прошлые пары ввода-вывода и периодически переобучается на них для закрепления обучения. Это помогает предотвратить катастрофическое забывание и улучшает общую производительность модели.

Динамическое распределение памяти

Модель может динамически регулировать распределение памяти на основе сложности входных данных и уровня неожиданности (ошибки прогнозирования). Это позволяет ей выделять больше ресурсов для сложных шаблонов и сжимать более простые.

Долговременное хранение памяти

Система поддерживает постоянную долговременную память, которая сохраняется между сеансами. Эта память хранится на диске и загружается при запуске сервера, что обеспечивает непрерывность обучения.

Сжатие памяти

Расширенные методы сжатия сокращают объем памяти, сохраняя важную информацию. Это особенно полезно для развертывания в средах с ограниченными ресурсами.

Интеграция кэша LLM

Система поддерживает кэш часто используемых состояний памяти, повышая производительность при повторных запросах и сокращая вычислительные затраты.

Цитата

Если вы используете эту реализацию в своем исследовании, пожалуйста, укажите ссылку:

Лицензия

Массачусетский технологический институт