BSupervisor는 이벤트 수집, 규칙 엔진, 비용 추적, 일일 보고서 네 가지 핵심 시스템으로 구성됩니다.
이벤트 수집
BSupervisor는 AI 에이전트의 모든 행동을 **이벤트(Event)**로 수집합니다. 이벤트는 감사의 기본 단위이며, 모든 규칙 평가와 비용 추적의 입력 데이터가 됩니다.
수집 대상 이벤트
| 카테고리 | 이벤트 유형 | 수집 데이터 |
|---|---|---|
| API 호출 | LLM API 요청/응답 | 모델명, 토큰 수, 프롬프트/응답 내용, 지연시간 |
| 파일 시스템 | 파일 읽기/쓰기/삭제 | 파일 경로, 작업 유형, 파일 크기 |
| 외부 통신 | HTTP 요청, Webhook 호출 | URL, 메서드, 상태 코드, 페이로드 크기 |
| 코드 실행 | 명령어 실행, 스크립트 실행 | 명령어, 실행 시간, 종료 코드, 출력 요약 |
| 인증 | 토큰 사용, 키 접근 | 접근한 인증 정보 유형, 접근 컨텍스트 |
이벤트 구조
모든 이벤트는 다음 공통 필드를 포함합니다:
| 필드 | 설명 | 예시 |
|---|---|---|
event_id | 고유 식별자 | evt_a1b2c3d4 |
timestamp | 이벤트 발생 시각 (UTC) | 2026-04-03T09:15:32Z |
agent_id | 이벤트를 발생시킨 에이전트 | nexus-executor-01 |
category | 이벤트 카테고리 | api_call, file_access |
action | 구체적인 액션 | llm_request, file_write |
metadata | 카테고리별 상세 데이터 | 모델명, 토큰 수 등 |
risk_score | 규칙 엔진이 산출한 위험 점수 (0~100) | 75 |
수집 성능
- 목표 지연시간: p99 < 50ms (이벤트 발생부터 수집 완료까지)
- 처리량: 초당 10,000+ 이벤트 처리 가능
- 저장: 이벤트 데이터는 90일간 보관 (플랜에 따라 변동)
규칙 엔진
규칙 엔진은 수집된 이벤트를 사전 정의된 규칙에 따라 실시간으로 평가합니다.
기본 규칙 (8개)
BSupervisor에 내장된 8개 기본 규칙의 상세 동작:
| # | 규칙 | 심각도 | 탐지 방식 | 탐지 예시 |
|---|---|---|---|---|
| 1 | SQL Injection | Critical | SQL 쿼리 내 위험 패턴 매칭 | '; DROP TABLE users; -- |
| 2 | Prompt Injection | Critical | 프롬프트 내 메타 지시문 탐지 | Ignore previous instructions and... |
| 3 | PII 유출 | Critical | 정규식 + NER 기반 개인정보 탐지 | 주민등록번호, 카드번호, 이메일 패턴 |
| 4 | 과도한 리소스 | Warning | 리소스 사용량 임계치 비교 | CPU 90% 초과, 메모리 2GB 초과 |
| 5 | 미허가 API 호출 | Warning | 허용 목록(allowlist) 기반 필터링 | 등록되지 않은 외부 URL 호출 |
| 6 | 민감 파일 접근 | Critical | 파일 경로 패턴 매칭 | .env, *.pem, *credentials* |
| 7 | 비정상 토큰 사용 | Warning | 이동 평균 대비 이상치 탐지 | 평균 1,000 토큰 → 갑자기 50,000 토큰 |
| 8 | 반복 오류 패턴 | Info | 시간 윈도우 내 동일 에러 빈도 | 5분 내 동일 에러 10회 이상 |
커스텀 규칙
대시보드에서 조직의 보안 정책에 맞는 규칙을 직접 생성할 수 있습니다. 자세한 생성 방법은 규칙 관리 가이드를 참고하세요.
심각도 수준
| 심각도 | 의미 | 기본 알림 동작 |
|---|---|---|
| Critical | 즉시 대응 필요한 보안 위협 | 모든 알림 채널로 즉시 전송 |
| Warning | 주의가 필요한 이상 징후 | 설정된 채널로 알림 전송 |
| Info | 참고용 정보, 패턴 기록 | 대시보드 기록만 (알림 없음) |
규칙 평가 순서
- 이벤트가 수집되면 활성화된 모든 규칙에 대해 평가를 수행합니다.
- 규칙은 우선순위 순으로 평가됩니다 (Critical > Warning > Info).
- 매칭된 규칙의 액션(알림, 차단 등)이 실행됩니다.
- 하나의 이벤트가 여러 규칙에 매칭될 수 있습니다.
비용 추적
BSupervisor는 LLM API 호출 이벤트에서 토큰 사용량을 추출하여 실시간 비용을 산출합니다.
추적 차원
| 차원 | 설명 | 활용 |
|---|---|---|
| 에이전트별 | 각 에이전트의 LLM 비용 합계 | 비용이 높은 에이전트 식별 |
| 모델별 | 사용된 LLM 모델별 비용 | 모델 선택 최적화 |
| 프로젝트별 | 프로젝트 단위 비용 집계 | 프로젝트 예산 관리 |
| 시간대별 | 일별/주별/월별 비용 추이 | 비용 트렌드 분석 |
이상 탐지
비용 추적 시스템은 다음과 같은 이상 징후를 자동으로 탐지합니다:
- 급격한 비용 증가: 전일 대비 200% 이상 증가 시 알림
- 비정상 토큰 사용: 단일 요청의 토큰 수가 임계치 초과
- 야간/주말 사용: 비업무 시간대의 비정상적인 API 호출
- 예산 초과 경고: 설정된 월간 예산의 80%, 90%, 100% 도달 시 알림
비용 계산 방식
| 항목 | 산출 방법 |
|---|---|
| 입력 토큰 비용 | 입력 토큰 수 x 모델별 입력 단가 |
| 출력 토큰 비용 | 출력 토큰 수 x 모델별 출력 단가 |
| 총 비용 | 입력 비용 + 출력 비용 |
| 모델 단가 | 각 LLM 제공사의 공개 가격 기준 (자동 업데이트) |
일일 보고서
매일 자동 생성되는 감사 보고서로, 조직의 AI 에이전트 운영 상황을 종합적으로 파악할 수 있습니다.
보고서 구성
| 섹션 | 내용 |
|---|---|
| 요약 | 총 이벤트 수, 위반 건수, 총 비용 한눈에 보기 |
| 규칙 위반 상세 | 심각도별 위반 건수, 가장 빈번한 위반 규칙 Top 5 |
| 비용 분석 | 에이전트별/모델별 비용 차트, 전일 대비 변동률 |
| 이상 탐지 | 비정상 패턴 목록과 상세 분석 |
| 권장 조치 | AI가 분석한 개선 권고사항 (규칙 조정, 비용 절감 등) |
보고서 전달
- 대시보드: Reports 페이지에서 일별 보고서를 열람
- 이메일: 설정된 이메일 주소로 매일 아침 자동 전송
- Slack: 설정된 Slack 채널로 요약 메시지 전송
Last updated on