Skip to Content
BSGateway기능 가이드라우팅

개요

BSGateway의 라우팅 규칙은 대시보드 Rules 페이지에서 관리합니다. 규칙은 4단계 파이프라인으로 평가됩니다.

Rules 페이지

Passthrough 모델

Models 페이지에 등록된 모든 모델은 자동으로 Passthrough 대상입니다. model 파라미터에 등록된 모델 ID를 직접 지정하면 규칙 평가 없이 바로 해당 모델로 전달됩니다.

Models 페이지

모델 추가 방법

  1. 사이드바에서 Models 클릭
  2. Add Model 버튼 클릭
  3. Provider, Model ID, API Key 입력
  4. Save 클릭

Alias 규칙

자주 쓰는 모델에 짧은 별명을 부여합니다. Rules 페이지의 Aliases 섹션에서 설정합니다.

Alias 추가 방법

  1. Rules 페이지에서 Aliases 탭 선택
  2. Add Alias 클릭
  3. Alias 이름과 Target 모델 선택
AliasTarget용도
fastgpt-4o-mini빠른 응답이 필요한 경우
smartclaude-sonnet정확한 추론이 필요한 경우
codeclaude-sonnet코드 생성 전용

사용 예시:

{ "model": "fast", "messages": [...] }

Pattern 규칙

요청 내용에 따라 glob 패턴으로 모델을 선택합니다. Rules 페이지의 Pattern Rules 탭에서 설정합니다.

Pattern 추가 방법

  1. Rules 페이지에서 Pattern Rules 탭 선택
  2. Add Rule 클릭
  3. 다음 정보 입력:
필드설명예시
Patternglob 패턴code/*
Model대상 모델claude-sonnet
Priority우선순위 (높을수록 먼저 평가)10

패턴 매칭 예시

패턴매칭되는 요청라우팅
code/*코드 관련 요청claude-sonnet
translate/*번역 요청gpt-4o-mini
*simple*”simple” 키워드 포함gpt-4o-mini

우선순위

Priority 값이 높은 규칙이 먼저 평가됩니다. 첫 번째로 매칭되는 규칙이 적용됩니다.

예시:

  • Priority 10: code/* → claude-sonnet
  • Priority 5: * → gpt-4o-mini (기본 fallback)

code/review 요청 → Priority 10 매칭 → claude-sonnet으로 라우팅

Auto 라우팅

model="auto"로 요청하면 분류기가 복잡도를 자동 판단합니다. Rules 페이지의 Auto Routing 탭에서 설정합니다.

Auto 설정 방법

  1. 분류 전략 선택:
전략동작추가 지연
Static키워드/패턴 기반 휴리스틱없음
LLMLLM이 복잡도 판단~200ms
ML학습된 분류 모델~10ms
  1. 복잡도별 모델 매핑 설정:
복잡도기본 매핑
Simplegpt-4o-mini
Moderateclaude-sonnet
Complexclaude-opus

Routing Test (시뮬레이터)

실제 API 호출 없이 라우팅 결과를 테스트할 수 있습니다.

Routing Test 페이지

사용 방법

  1. 사이드바에서 Routing Test 클릭
  2. 테스트 요청 입력 (model, messages)
  3. Test 클릭
  4. 결과 확인: 어떤 단계에서 매칭되었는지, 최종 선택된 모델은 무엇인지

새 규칙을 추가한 후 반드시 Routing Test로 의도대로 동작하는지 확인하세요.

Last updated on