Bifrost AI Gateway

ダウンタイムのない AI アプリケーションを構築する最速の方法

Bifrost は、23 以上のプロバイダー（OpenAI、Anthropic、AWS Bedrock、Google Vertex など）へのアクセスを単一の OpenAI 互換 API に統合する高性能 AI ゲートウェイです。ゼロ設定で数秒でデプロイでき、自動フェイルオーバー、ロードバランシング、セマンティックキャッシュ、エンタープライズグレードの機能を利用できます。

Related MCP server: MCPGate

クイックスタート

1 分以内に、ゼロから本番環境対応の AI ゲートウェイを構築できます。

ステップ 1: Bifrost Gateway を起動

# Install and run locally
npx -y @maximhq/bifrost

# Or use Docker
docker run -p 8080:8080 maximhq/bifrost

ステップ 2: Web UI で設定

# Open the built-in web interface
open http://localhost:8080

ステップ 3: 最初の API 呼び出しを行う

curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o-mini",
    "messages": [{"role": "user", "content": "Hello, Bifrost!"}]
  }'

これで完了です! 視覚的な設定、リアルタイムモニタリング、分析のための Web インターフェースを備えた AI ゲートウェイが稼働しています。

完全なセットアップガイド:

• Gateway セットアップ - HTTP API デプロイメント

• Go SDK セットアップ - 直接統合

エンタープライズデプロイメント

Bifrost は、大規模な本番 AI システムを実行するチーム向けに、エンタープライズグレードのプライベートデプロイメントをサポートしています。プライベートネットワーキング、カスタムセキュリティコントロール、ガバナンスに加えて、エンタープライズデプロイメントでは、アダプティブロードバランシング、クラスタリング、ガードレール、MCP ゲートウェイなど、エンタープライズグレードのスケールと信頼性のために設計された高度な機能を利用できます。

主な機能

コアインフラストラクチャ

• 統合インターフェース - すべてのプロバイダー向けの単一の OpenAI 互換 API

• マルチプロバイダーサポート - OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure、Cerebras、Cohere、Mistral、Ollama、Groq など

• 自動フェイルオーバー - ダウンタイムゼロでプロバイダーとモデル間のシームレスなフェイルオーバー

• ロードバランシング - 複数の API キーとプロバイダー間でのインテリジェントなリクエスト分散

高度な機能

• Model Context Protocol (MCP) - AI モデルが外部ツール（ファイルシステム、Web 検索、データベース）を使用できるようにする

• セマンティックキャッシュ - セマンティックな類似性に基づくインテリジェントなレスポンスキャッシュにより、コストとレイテンシを削減

• マルチモーダルサポート - テキスト、画像、音声、ストリーミングを共通インターフェースでサポート

• カスタムプラグイン - 分析、モニタリング、カスタムロジックのための拡張可能なミドルウェアアーキテクチャ

• ガバナンス - 使用状況追跡、レート制限、きめ細かいアクセス制御

エンタープライズとセキュリティ

• 予算管理 - 仮想キー、チーム、顧客予算による階層的なコスト管理

• ユーザープロビジョニング (OIDC) - チーム、ロール、ビジネスユニットのバックグラウンドディレクトリ同期を備えた OAuth 2.0 / OIDC ログイン

• 可観測性 - ネイティブの Prometheus メトリクス、分散トレーシング、包括的なロギング

• シークレット管理 - 環境変数とデプロイメントシークレットによる安全な API キー管理

開発者エクスペリエンス

• ゼロ設定スタートアップ - 動的なプロバイダー設定で即座に開始

• ドロップイン置換 - 1 行のコードで OpenAI/Anthropic/GenAI API を置き換え

• SDK 統合 - コード変更なしで人気の AI SDK をネイティブサポート

• 設定の柔軟性 - Web UI、API 駆動、またはファイルベースの設定オプション

リポジトリ構造

Bifrost は最大限の柔軟性を実現するモジュラーアーキテクチャを採用しています:

bifrost/
├── npx/                 # NPX script for easy installation
├── core/                # Core functionality and shared components
│   ├── providers/       # Provider-specific implementations (OpenAI, Anthropic, etc.)
│   ├── schemas/         # Interfaces and structs used throughout Bifrost
│   └── bifrost.go       # Main Bifrost implementation
├── framework/           # Framework components for data persistence
│   ├── configstore/     # Configuration storage backends
│   ├── logstore/        # Request logging storage backends
│   └── vectorstore/     # Vector storages
├── transports/          # HTTP gateway and other interface layers
│   └── bifrost-http/    # HTTP transport implementation
├── ui/                  # Web interface for HTTP gateway
├── plugins/             # Extensible plugin system
│   ├── governance/      # Budget management and access control
│   ├── jsonparser/      # JSON parsing and manipulation utilities
│   ├── logging/         # Request logging and analytics
│   ├── maxim/           # Maxim's observability integration
│   ├── mocker/          # Mock responses for testing and development
│   ├── semanticcache/   # Intelligent response caching
│   └── telemetry/       # Monitoring and observability
├── docs/                # Documentation and guides
└── tests/               # Comprehensive test suites

開始オプション

ニーズに合ったデプロイメント方法を選択してください:

1. Gateway (HTTP API)

最適な用途: 言語に依存しない統合、マイクロサービス、本番デプロイメント

# NPX - Get started in 30 seconds
npx -y @maximhq/bifrost

# Docker - Production ready
docker run -p 8080:8080 -v $(pwd)/data:/app/data maximhq/bifrost

機能: Web UI、リアルタイムモニタリング、マルチプロバイダー管理、ゼロ設定スタートアップ

詳細: Gateway セットアップガイド

2. Go SDK

最適な用途: 最大のパフォーマンスと制御を備えた直接的な Go 統合

go get github.com/maximhq/bifrost/core

機能: ネイティブ Go API、組み込みデプロイメント、カスタムミドルウェア統合

詳細: Go SDK ガイド

3. ドロップイン置換

最適な用途: コード変更なしで既存アプリケーションを移行

# OpenAI SDK
- base_url = "https://api.openai.com"
+ base_url = "http://localhost:8080/openai"

# Anthropic SDK
- base_url = "https://api.anthropic.com"
+ base_url = "http://localhost:8080/anthropic"

# Google GenAI SDK
- api_endpoint = "https://generativelanguage.googleapis.com"
+ api_endpoint = "http://localhost:8080/genai"

詳細: 統合ガイド

パフォーマンス

Bifrost は AI リクエストに実質的にオーバーヘッドを追加しません。持続的な 5,000 RPS のベンチマークでは、ゲートウェイはリクエストあたりわずか 11 µs のオーバーヘッドを追加しました。

主なパフォーマンスハイライト:

• 完璧な成功率 - 5k RPS でも 100% のリクエスト成功率

• 最小限のオーバーヘッド - リクエストあたり 15 µs 未満の追加レイテンシ

• 効率的なキューイング - サブマイクロ秒の平均待ち時間

• 高速なキー選択 - 重み付け API キーの選択に約 10 ns

完全なベンチマーク: パフォーマンス分析

ドキュメント

完全なドキュメント: https://docs.getbifrost.ai

クイックスタート

• Gateway セットアップ - 30 秒での HTTP API デプロイメント

• Go SDK セットアップ - 直接的な Go 統合

• プロバイダー設定 - マルチプロバイダー設定

機能

• マルチプロバイダーサポート - すべてのプロバイダー向けの単一 API

• MCP 統合 - 外部ツール呼び出し

• セマンティックキャッシュ - インテリジェントなレスポンスキャッシュ

• フェイルオーバーとロードバランシング - 信頼性機能

• 予算管理 - コスト管理とガバナンス

統合

• OpenAI SDK - ドロップイン OpenAI 置換

• Anthropic SDK - ドロップイン Anthropic 置換

• AWS Bedrock SDK - AWS Bedrock 統合

• Google GenAI SDK - ドロップイン GenAI 置換

• LiteLLM SDK - LiteLLM 統合

• LangChain SDK - LangChain 統合

エンタープライズ

• カスタムプラグイン - 機能の拡張

• クラスタリング - マルチノードデプロイメント

• シークレット管理 - 安全なキー管理

• 本番デプロイメント - スケーリングとモニタリング

ヘルプが必要ですか?

Discord に参加 して、コミュニティサポートとディスカッションを利用してください。

次のようなヘルプを入手できます:

• クイックセットアップの支援とトラブルシューティング

• ベストプラクティスと設定のヒント

• コミュニティディスカッションとサポート

• 統合に関するリアルタイムヘルプ

コントリビューション

あらゆる種類のコントリビューションを歓迎します! コントリビューションガイド で次のことを確認してください:

• 開発環境のセットアップ

• コード規約とベストプラクティス

• プルリクエストの提出方法

• ローカルでのビルドとテスト

開発要件とビルド手順については、開発セットアップガイド を参照してください。

ライセンス

このプロジェクトは Apache 2.0 ライセンスの下でライセンスされています - 詳細は LICENSE ファイルを参照してください。

Maxim によって ❤️ を込めて作られました。