Bifrost AI Gateway

절대 다운되지 않는 AI 애플리케이션을 구축하는 가장 빠른 방법

Bifrost는 단일 OpenAI 호환 API를 통해 23개 이상의 프로바이더(OpenAI, Anthropic, AWS Bedrock, Google Vertex 등)에 대한 액세스를 통합하는 고성능 AI 게이트웨이입니다. 제로 구성으로 몇 초 만에 배포할 수 있으며 자동 장애 조치, 로드 밸런싱, 시맨틱 캐싱, 엔터프라이즈급 기능을 제공합니다.

Related MCP server: MCPGate

빠른 시작

1분 이내에 제로에서 프로덕션 준비가 완료된 AI 게이트웨이로 전환하세요.

1단계: Bifrost Gateway 시작

# Install and run locally
npx -y @maximhq/bifrost

# Or use Docker
docker run -p 8080:8080 maximhq/bifrost

2단계: 웹 UI로 구성

# Open the built-in web interface
open http://localhost:8080

3단계: 첫 번째 API 호출 만들기

curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o-mini",
    "messages": [{"role": "user", "content": "Hello, Bifrost!"}]
  }'

이것으로 끝입니다! 이제 시각적 구성, 실시간 모니터링, 분석을 위한 웹 인터페이스를 갖춘 AI 게이트웨이가 실행 중입니다.

전체 설정 가이드:

• 게이트웨이 설정 - HTTP API 배포

• Go SDK 설정 - 직접 통합

엔터프라이즈 배포

Bifrost는 대규모 프로덕션 AI 시스템을 운영하는 팀을 위한 엔터프라이즈급 프라이빗 배포를 지원합니다. 프라이빗 네트워킹, 맞춤형 보안 제어, 거버넌스 외에도 엔터프라이즈 배포는 어댑티브 로드 밸런싱, 클러스터링, 가드레일, MCP 게이트웨이 등 엔터프라이즈급 확장성과 안정성을 위해 설계된 고급 기능을 제공합니다.

주요 기능

핵심 인프라

• 통합 인터페이스 - 모든 프로바이더를 위한 단일 OpenAI 호환 API

• 멀티 프로바이더 지원 - OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama, Groq 등

• 자동 폴백 - 다운타임 없이 프로바이더와 모델 간 원활한 장애 조치

• 로드 밸런싱 - 여러 API 키와 프로바이더에 걸친 지능형 요청 분산

고급 기능

• 모델 컨텍스트 프로토콜(MCP) - AI 모델이 외부 도구(파일 시스템, 웹 검색, 데이터베이스)를 사용할 수 있도록 지원

• 시맨틱 캐싱 - 비용과 지연 시간을 줄이기 위한 의미적 유사성 기반 지능형 응답 캐싱

• 멀티모달 지원 - 공통 인터페이스 기반의 텍스트, 이미지, 오디오, 스트리밍 지원

• 커스텀 플러그인 - 분석, 모니터링, 커스텀 로직을 위한 확장 가능한 미들웨어 아키텍처

• 거버넌스 - 사용량 추적, 속도 제한, 세분화된 액세스 제어

엔터프라이즈 및 보안

• 예산 관리 - 가상 키, 팀, 고객 예산을 통한 계층적 비용 제어

• 사용자 프로비저닝(OIDC) - 팀, 역할, 사업부를 위한 백그라운드 디렉터리 동기화를 포함한 OAuth 2.0 / OIDC 로그인

• 옵저버빌리티 - 네이티브 Prometheus 메트릭, 분산 추적, 포괄적인 로깅

• 시크릿 관리 - 환경 변수와 배포 시크릿을 통한 안전한 API 키 관리

개발자 경험

• 제로 구성 시작 - 동적 프로바이더 구성으로 즉시 시작

• 드롭인 교체 - 한 줄의 코드로 OpenAI/Anthropic/GenAI API 교체

• SDK 통합 - 코드 변경 없이 널리 사용되는 AI SDK 기본 지원

• 구성 유연성 - 웹 UI, API 기반 또는 파일 기반 구성 옵션

리포지토리 구조

Bifrost는 최대 유연성을 위해 모듈식 아키텍처를 사용합니다:

bifrost/
├── npx/                 # NPX script for easy installation
├── core/                # Core functionality and shared components
│   ├── providers/       # Provider-specific implementations (OpenAI, Anthropic, etc.)
│   ├── schemas/         # Interfaces and structs used throughout Bifrost
│   └── bifrost.go       # Main Bifrost implementation
├── framework/           # Framework components for data persistence
│   ├── configstore/     # Configuration storage backends
│   ├── logstore/        # Request logging storage backends
│   └── vectorstore/     # Vector storages
├── transports/          # HTTP gateway and other interface layers
│   └── bifrost-http/    # HTTP transport implementation
├── ui/                  # Web interface for HTTP gateway
├── plugins/             # Extensible plugin system
│   ├── governance/      # Budget management and access control
│   ├── jsonparser/      # JSON parsing and manipulation utilities
│   ├── logging/         # Request logging and analytics
│   ├── maxim/           # Maxim's observability integration
│   ├── mocker/          # Mock responses for testing and development
│   ├── semanticcache/   # Intelligent response caching
│   └── telemetry/       # Monitoring and observability
├── docs/                # Documentation and guides
└── tests/               # Comprehensive test suites

시작하기 옵션

요구 사항에 맞는 배포 방법을 선택하세요:

1. 게이트웨이(HTTP API)

가장 적합한 대상: 언어에 구애받지 않는 통합, 마이크로서비스, 프로덕션 배포

# NPX - Get started in 30 seconds
npx -y @maximhq/bifrost

# Docker - Production ready
docker run -p 8080:8080 -v $(pwd)/data:/app/data maximhq/bifrost

기능: 웹 UI, 실시간 모니터링, 멀티 프로바이더 관리, 제로 구성 시작

자세히 알아보기: 게이트웨이 설정 가이드

2. Go SDK

가장 적합한 대상: 최대 성능과 제어가 필요한 직접 Go 통합

go get github.com/maximhq/bifrost/core

기능: 네이티브 Go API, 임베디드 배포, 커스텀 미들웨어 통합

자세히 알아보기: Go SDK 가이드

3. 드롭인 교체

가장 적합한 대상: 코드 변경 없이 기존 애플리케이션 마이그레이션

# OpenAI SDK
- base_url = "https://api.openai.com"
+ base_url = "http://localhost:8080/openai"

# Anthropic SDK
- base_url = "https://api.anthropic.com"
+ base_url = "http://localhost:8080/anthropic"

# Google GenAI SDK
- api_endpoint = "https://generativelanguage.googleapis.com"
+ api_endpoint = "http://localhost:8080/genai"

자세히 알아보기: 통합 가이드

성능

Bifrost는 AI 요청에 사실상 제로 오버헤드를 추가합니다. 지속적인 5,000 RPS 벤치마크에서 게이트웨이는 요청당 11 µs의 오버헤드만 추가했습니다.

주요 성능 하이라이트:

• 완벽한 성공률 - 5k RPS에서도 100% 요청 성공률

• 최소 오버헤드 - 요청당 15 µs 미만의 추가 지연 시간

• 효율적인 큐잉 - 마이크로초 미만의 평균 대기 시간

• 빠른 키 선택 - ~10 ns로 가중치 API 키 선택

전체 벤치마크: 성능 분석

문서

전체 문서: https://docs.getbifrost.ai

빠른 시작

• 게이트웨이 설정 - 30초 만에 HTTP API 배포

• Go SDK 설정 - 직접 Go 통합

• 프로바이더 구성 - 멀티 프로바이더 설정

기능

• 멀티 프로바이더 지원 - 모든 프로바이더를 위한 단일 API

• MCP 통합 - 외부 도구 호출

• 시맨틱 캐싱 - 지능형 응답 캐싱

• 폴백 및 로드 밸런싱 - 안정성 기능

• 예산 관리 - 비용 제어 및 거버넌스

통합

• OpenAI SDK - 드롭인 OpenAI 교체

• Anthropic SDK - 드롭인 Anthropic 교체

• AWS Bedrock SDK - AWS Bedrock 통합

• Google GenAI SDK - 드롭인 GenAI 교체

• LiteLLM SDK - LiteLLM 통합

• LangChain SDK - LangChain 통합

엔터프라이즈

• 커스텀 플러그인 - 기능 확장

• 클러스터링 - 멀티 노드 배포

• 시크릿 관리 - 안전한 키 관리

• 프로덕션 배포 - 확장 및 모니터링

도움이 필요하신가요?

커뮤니티 지원과 토론을 위해 Discord에 가입하세요.

다음과 같은 도움을 받을 수 있습니다:

• 빠른 설정 지원 및 문제 해결

• 모범 사례 및 구성 팁

• 커뮤니티 토론 및 지원

• 통합에 대한 실시간 도움

기여

모든 종류의 기여를 환영합니다! 기여 가이드에서 다음을 확인하세요:

• 개발 환경 설정

• 코드 규칙 및 모범 사례

• 풀 리퀘스트 제출 방법

• 로컬 빌드 및 테스트

개발 요구 사항과 빌드 지침은 개발 환경 설정 가이드를 참조하세요.

라이선스

이 프로젝트는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 LICENSE 파일을 참조하세요.

Maxim이 ❤️로 만들었습니다.