MCP - Titan Memory Server

Titan メモリサーバー

拡張された Titan メモリ モデルを備えたモデル コンテキスト プロトコル (MCP) サーバー実装。

概要

このプロジェクトは、生成AIシステムのメモリ機能を強化するために設計された、大規模言語モデル（LLM）用のメモリモデルを実装します。TensorFlow.jsを使用して構築され、MCPサーバーとして実装されているため、MCP対応のクライアントと簡単に統合できます。

特徴

現在実装されているもの:

• マルチヘッドアテンションメカニズム
• 階層的なメモリ構造
• 記憶状態の持続
• モデルコンテキストプロトコル（MCP）との統合
• 強化学習のための記憶再生
• LLMキャッシュ統合
• 動的メモリ割り当て
• 長期記憶の保存
• 高度なメモリ圧縮
• 持続的なタスク特有の記憶
• 勢いに基づくメモリ更新
• 構成可能なメモリ統合バリアント（MAC/MAG）

使用法

サーバーは、モデル コンテキスト プロトコル (MCP) を介していくつかのツールを公開します。

• init_model : カスタム構成でメモリモデルを初期化する
• forward : モデルを順方向にパスする
• train_step : 単一のトレーニングステップを実行する
• train_sequence : ベクトルのシーケンスでトレーニングする
• save_model : 現在のモデルの重みを保存する
• load_model : 保存されたファイルからモデルの重みを読み込む
• get_status : モデルの現在のステータスを取得する
• store_memory_state : 現在のメモリ状態をキーとともに保存する
• retrieve_memory_state : 保存されたメモリ状態を取得する
• compress_memory : 現在のメモリ状態を圧縮してスペースを節約します
• memory_replay : 学習を強化するためにメモリリプレイトレーニングを実行します

インストール

サーバーの実行

これにより、ポート 3000 で MCP サーバーが起動します。

発達

テスト

高度な機能

記憶の再生

メモリ再生メカニズムは過去の入力と出力のペアを保存し、定期的に再学習することで学習を強化します。これにより、壊滅的な忘却を防ぎ、モデル全体のパフォーマンスを向上させます。

動的メモリ割り当て

このモデルは、入力の複雑さと驚きのレベル（予測誤差）に基づいてメモリ割り当てを動的に調整できます。これにより、複雑なパターンにはより多くのリソースを割り当て、単純なパターンは圧縮することが可能になります。

長期記憶の保存

システムは、セッションを超えて持続する長期記憶を維持します。このメモリはディスクに保存され、サーバーの起動時に読み込まれるため、学習の継続性を確保できます。

メモリ圧縮

高度な圧縮技術により、重要な情報を保持しながらメモリ使用量を削減します。これは、リソースが限られた環境での展開に特に役立ちます。

LLMキャッシュ統合

システムは頻繁にアクセスされるメモリ状態のキャッシュを維持し、繰り返し実行されるクエリのパフォーマンスを向上させ、計算オーバーヘッドを削減します。

引用

この実装を研究で使用する場合は、以下を引用してください。

ライセンス

マサチューセッツ工科大学