Skip to Content
BSGateway시작하기

BSGateway는 LLM API 요청을 분석해 가장 비용 효율적인 모델로 자동 라우팅하는 프록시입니다. OpenAI 호환 API를 제공하므로 기존 코드를 거의 변경하지 않고 바로 사용할 수 있습니다.

BSGateway가 하는 일

  • 요청 복잡도 분석: 간단한 질문은 저렴한 모델로, 복잡한 추론은 고성능 모델로 자동 분배
  • 비용 최적화: 동일한 응답 품질을 유지하면서 LLM 비용을 최대 60% 절감
  • OpenAI 호환 API: base_url만 변경하면 기존 OpenAI/Anthropic SDK 코드 그대로 사용
  • 실시간 모니터링: 모델별 사용량, 비용, 응답 시간을 대시보드에서 확인

빠른 시작 (5분)

Step 1. 로그인

gateway.bsvibe.dev 에 접속해 Sign in with BSVibe 버튼을 클릭합니다. BSVibe 계정이 없다면 자동으로 생성됩니다.

BSGateway 대시보드

로그인하면 System Overview 대시보드가 표시됩니다. 왼쪽 사이드바에서 각 기능에 접근할 수 있습니다:

메뉴설명
Dashboard전체 요약 — 요청 수, 토큰 사용량, 활성 규칙, 평균 응답 시간
Rules라우팅 규칙 생성 및 관리
ModelsLLM 모델 등록 및 API 키 설정
Routing Test테스트 요청으로 라우팅 결과 시뮬레이션
Analytics사용량, 비용, 모델별 분포 분석
API KeysBSGateway API 키 발급 및 관리
Audit Log모든 API 호출 기록 조회

Step 2. 모델 등록

사이드바에서 Models를 클릭합니다.

Models 페이지

Add Model 버튼을 클릭하고 다음 정보를 입력합니다:

필드예시설명
ProviderAnthropic모델 제공자 선택
Model IDclaude-sonnet요청 시 사용할 이름
API Keysk-ant-...Provider에서 발급받은 키
Max Tokens4096최대 출력 토큰 (선택)

API 키는 AES-256-GCM으로 암호화되어 저장됩니다. BSGateway 서버에서도 원문을 볼 수 없습니다.

여러 모델을 등록해 두면 라우팅 규칙에 따라 자동으로 최적 모델이 선택됩니다. 최소 2개 이상의 모델을 등록하는 것을 권장합니다 (예: 저렴한 모델 + 고성능 모델).

Step 3. API 키 발급

사이드바에서 API Keys를 클릭합니다.

API Keys 페이지

Create API Key 버튼을 클릭하고:

  1. 키 이름 입력 (예: production, development)
  2. Rate Limit 설정 (분당 최대 요청 수)
  3. Create 클릭

중요: API 키는 생성 시 한 번만 표시됩니다. 반드시 안전한 곳에 복사해 두세요.

Step 4. API 호출

기존 OpenAI SDK 코드에서 base_url과 api_key만 변경합니다:

from openai import OpenAI
 
client = OpenAI(
    base_url="https://api-gateway.bsvibe.dev/v1",
    api_key="bsg_your_api_key_here",
)
 
# 자동 라우팅 — BSGateway가 복잡도를 판단해 최적 모델 선택
response = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Python으로 퀵소트 구현해줘"}],
)
 
print(response.choices[0].message.content)
// Node.js / TypeScript
import OpenAI from 'openai';
 
const client = new OpenAI({
  baseURL: 'https://api-gateway.bsvibe.dev/v1',
  apiKey: 'bsg_your_api_key_here',
});
 
const response = await client.chat.completions.create({
  model: 'auto',
  messages: [{ role: 'user', content: 'Hello!' }],
});
# cURL
curl https://api-gateway.bsvibe.dev/v1/chat/completions \
  -H "Authorization: Bearer bsg_your_api_key_here" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

model 파라미터 옵션

값동작
"auto"분류기가 복잡도를 판단해 최적 모델 자동 선택
"claude-sonnet"등록한 모델 ID로 직접 지정
"fast"Alias로 등록한 이름 사용

Step 5. 결과 확인

Dashboard로 돌아가면 방금 보낸 요청의 통계가 표시됩니다. Analytics 페이지에서 더 상세한 사용량과 비용을 확인할 수 있습니다.

Analytics 페이지

다음 단계

Last updated on
Index핵심 개념