Bifrost AI Gateway

Самый быстрый способ создавать AI-приложения, которые никогда не падают

Bifrost — это высокопроизводительный AI-шлюз, который объединяет доступ к 23+ провайдерам (OpenAI, Anthropic, AWS Bedrock, Google Vertex и другим) через единый OpenAI-совместимый API. Развертывание за секунды без какой-либо настройки, автоматический фейловер, балансировка нагрузки, семантическое кэширование и функции корпоративного уровня.

Related MCP server: MCPGate

Быстрый старт

Переход от нуля до готового к продакшену AI-шлюза менее чем за минуту.

Шаг 1: Запустите Bifrost Gateway

# Install and run locally
npx -y @maximhq/bifrost

# Or use Docker
docker run -p 8080:8080 maximhq/bifrost

Шаг 2: Настройте через веб-интерфейс

# Open the built-in web interface
open http://localhost:8080

Шаг 3: Выполните первый API-вызов

curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o-mini",
    "messages": [{"role": "user", "content": "Hello, Bifrost!"}]
  }'

Вот и всё! Ваш AI-шлюз работает с веб-интерфейсом для визуальной настройки, мониторинга в реальном времени и аналитики.

Полные руководства по настройке:

• Настройка шлюза — развертывание HTTP API

• Настройка Go SDK — прямая интеграция

Корпоративные развертывания

Bifrost поддерживает корпоративные частные развертывания для команд, работающих с производственными AI-системами в масштабе. Помимо частных сетей, настраиваемых средств безопасности и управления, корпоративные развертывания открывают расширенные возможности, включая адаптивную балансировку нагрузки, кластеризацию, guardrails, MCP-шлюз и другие функции, предназначенные для корпоративного масштаба и надежности.

Ключевые функции

Базовая инфраструктура

• Единый интерфейс — единый OpenAI-совместимый API для всех провайдеров

• Поддержка множества провайдеров — OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama, Groq и другие

• Автоматические фейловеры — бесшовное переключение между провайдерами и моделями без простоев

• Балансировка нагрузки — интеллектуальное распределение запросов между несколькими API-ключами и провайдерами

Расширенные функции

• Model Context Protocol (MCP) — позволяет AI-моделям использовать внешние инструменты (файловая система, веб-поиск, базы данных)

• Семантическое кэширование — интеллектуальное кэширование ответов на основе семантической близости для снижения затрат и задержек

• Мультимодальная поддержка — поддержка текста, изображений, аудио и потоковой передачи за единым интерфейсом

• Пользовательские плагины — расширяемая архитектура промежуточного ПО для аналитики, мониторинга и пользовательской логики

• Управление — отслеживание использования, ограничение скорости и детальный контроль доступа

Корпоративные функции и безопасность

• Управление бюджетом — иерархический контроль затрат с виртуальными ключами, командами и бюджетами клиентов

• Предоставление пользователей (OIDC) — вход через OAuth 2.0 / OIDC с фоновой синхронизацией каталогов для команд, ролей и бизнес-подразделений

• Наблюдаемость — встроенные метрики Prometheus, распределенная трассировка и комплексное логирование

• Управление секретами — безопасное управление API-ключами с помощью переменных окружения и секретов развертывания

Опыт разработчика

• Запуск без настройки — мгновенный старт с динамической конфигурацией провайдеров

• Замена без изменений кода — замените OpenAI/Anthropic/GenAI API одной строкой кода

• Интеграции SDK — встроенная поддержка популярных AI SDK без изменений кода

• Гибкость конфигурации — веб-интерфейс, API или файловая конфигурация

Структура репозитория

Bifrost использует модульную архитектуру для максимальной гибкости:

bifrost/
├── npx/                 # NPX script for easy installation
├── core/                # Core functionality and shared components
│   ├── providers/       # Provider-specific implementations (OpenAI, Anthropic, etc.)
│   ├── schemas/         # Interfaces and structs used throughout Bifrost
│   └── bifrost.go       # Main Bifrost implementation
├── framework/           # Framework components for data persistence
│   ├── configstore/     # Configuration storage backends
│   ├── logstore/        # Request logging storage backends
│   └── vectorstore/     # Vector storages
├── transports/          # HTTP gateway and other interface layers
│   └── bifrost-http/    # HTTP transport implementation
├── ui/                  # Web interface for HTTP gateway
├── plugins/             # Extensible plugin system
│   ├── governance/      # Budget management and access control
│   ├── jsonparser/      # JSON parsing and manipulation utilities
│   ├── logging/         # Request logging and analytics
│   ├── maxim/           # Maxim's observability integration
│   ├── mocker/          # Mock responses for testing and development
│   ├── semanticcache/   # Intelligent response caching
│   └── telemetry/       # Monitoring and observability
├── docs/                # Documentation and guides
└── tests/               # Comprehensive test suites

Варианты начала работы

Выберите метод развертывания, который подходит вам:

1. Шлюз (HTTP API)

Лучше всего подходит для: языконезависимой интеграции, микросервисов и производственных развертываний

# NPX - Get started in 30 seconds
npx -y @maximhq/bifrost

# Docker - Production ready
docker run -p 8080:8080 -v $(pwd)/data:/app/data maximhq/bifrost

Функции: веб-интерфейс, мониторинг в реальном времени, управление несколькими провайдерами, запуск без настройки

Подробнее: Руководство по настройке шлюза

2. Go SDK

Лучше всего подходит для: прямой интеграции с Go с максимальной производительностью и контролем

go get github.com/maximhq/bifrost/core

Функции: нативные Go API, встроенное развертывание, интеграция с пользовательским промежуточным ПО

Подробнее: Руководство по Go SDK

3. Замена без изменений кода

Лучше всего подходит для: миграции существующих приложений без изменений кода

# OpenAI SDK
- base_url = "https://api.openai.com"
+ base_url = "http://localhost:8080/openai"

# Anthropic SDK
- base_url = "https://api.anthropic.com"
+ base_url = "http://localhost:8080/anthropic"

# Google GenAI SDK
- api_endpoint = "https://generativelanguage.googleapis.com"
+ api_endpoint = "http://localhost:8080/genai"

Подробнее: Руководства по интеграции

Производительность

Bifrost добавляет практически нулевую нагрузку к вашим AI-запросам. В устойчивых тестах с 5000 RPS шлюз добавил всего 11 мкс накладных расходов на запрос.

Ключевые показатели производительности:

• Идеальная успешность — 100% успешных запросов даже при 5k RPS

• Минимальные накладные расходы — менее 15 мкс дополнительной задержки на запрос

• Эффективная очередь — среднее время ожидания менее микросекунды

• Быстрый выбор ключей — ~10 нс для выбора взвешенных API-ключей

Полные бенчмарки: Анализ производительности

Документация

Полная документация: https://docs.getbifrost.ai

Быстрый старт

• Настройка шлюза — развертывание HTTP API за 30 секунд

• Настройка Go SDK — прямая интеграция с Go

• Конфигурация провайдеров — настройка нескольких провайдеров

Функции

• Поддержка множества провайдеров — единый API для всех провайдеров

• Интеграция MCP — вызов внешних инструментов

• Семантическое кэширование — интеллектуальное кэширование ответов

• Фейловеры и балансировка нагрузки — функции надежности

• Управление бюджетом — контроль затрат и управление

Интеграции

• OpenAI SDK — замена OpenAI без изменений кода

• Anthropic SDK — замена Anthropic без изменений кода

• AWS Bedrock SDK — интеграция с AWS Bedrock

• Google GenAI SDK — замена GenAI без изменений кода

• LiteLLM SDK — интеграция с LiteLLM

• LangChain SDK — интеграция с LangChain

Корпоративные функции

• Пользовательские плагины — расширение функциональности

• Кластеризация — многоузловое развертывание

• Управление секретами — безопасное управление ключами

• Производственное развертывание — масштабирование и мониторинг

Нужна помощь?

Присоединяйтесь к нашему Discord для поддержки сообщества и обсуждений.

Получите помощь по:

• Быстрой настройке и устранению неполадок

• Лучшим практикам и советам по конфигурации

• Обсуждениям и поддержке сообщества

• Помощи с интеграциями в реальном времени

Вклад в проект

Мы приветствуем вклад любого рода! См. наше Руководство по вкладу для:

• Настройки среды разработки

• Соглашений о коде и лучших практик

• Как отправлять pull request

• Сборки и тестирования локально

Требования к разработке и инструкции по сборке см. в Руководстве по настройке среды разработки.

Лицензия

Этот проект лицензирован под лицензией Apache 2.0 — см. файл LICENSE для подробностей.

Сделано с ❤️ командой Maxim