AI Gateway
AI 로 나가는 데이터도 같은 게이트웨이에서 통제합니다
직원이 사용하는 AI 앱, 사내 앱과 개발 도구의 LLM API 호출, AI 가 호출하는 MCP 도구까지 게이트웨이가 판정하고 마스킹하고 기록합니다. DB 에 적용하는 값 패턴을 AI 요청에 그대로 사용합니다.
- OpenAI
- Anthropic
- Gemini
- DeepSeek
- Azure OpenAI
- Ollama
- vLLM
- MCP
AI 게이트웨이란
AI 게이트웨이는 조직과 AI 서비스 사이에서 요청을 검사하고, 키를 관리하고, 사용량을 기록하는 프록시입니다.
BeeHind 의 AI Gateway 는 DAC, Server Gateway 와 같은 게이트웨이, 같은 계정, 같은 감사 저장소를 사용합니다. 같은 사람이 실행한 SQL 문장, 서버 명령, AI 에 보낸 질문을 같은 이름으로 찾습니다.
세 가지 통제
AI 를 사용하는 방식마다 맞는 통제
직원 PC 의 AI 앱은 데스크톱 에이전트로, 서버의 애플리케이션과 개발 도구는 가상 키로 게이트웨이에 닿습니다.
직원이 사용하는 AI 앱
- 대상
- 직원이 PC 에서 계정으로 로그인해 사용하는 AI 앱(예: Claude 데스크톱 앱)
- 방법
- 데스크톱 에이전트가 AI 서비스로 가는 접속을 게이트웨이로 보냅니다. 직원은 앱의 설정을 변경하지 않습니다.
- 누구인지 아는 방법
- 서명된 신원 증명
- 요청을 막을지, 마스킹할지, 기록만 할지 선택
- 답변도 같은 패턴으로 마스킹
- 이번에 새로 보낸 내용만 기록
사내 앱과 개발 도구의 LLM 호출
- 대상
- LLM API 를 호출하는 사내 서비스와 배치, Claude Code, Codex, Gemini CLI
- 방법
- API 주소를 게이트웨이로, API 키를 가상 키로 변경합니다. 게이트웨이가 회사의 실제 키(조직 키)로 교체해 보냅니다.
- 누구인지 아는 방법
- 가상 키
- 조직 키를 누구에게도 나눠 주지 않음
- 사용자, 서비스, 모델별 사용량
- 하루 또는 한 달 단위 사용 한도
AI 가 호출하는 사내 도구(MCP)
- 대상
- 사내 시스템을 MCP 서버로 제공하는 조직
- 방법
- MCP 서버를 서비스로 등록하고 도구 호출 단위로 허용 목록을 정합니다. 인자에 든 값도 값 패턴으로 검사합니다.
- 누구인지 아는 방법
- 서명된 신원 증명
- 조회 도구는 허용, 삭제 도구는 차단
- 사람과 그룹마다 다른 허용 목록
- 도구 호출 이력을 사람 이름으로 기록
프롬프트에 든 개인정보와 자격 증명을 보내기 전에 마스킹합니다
패턴마다 차단, 마스킹, 감지만 중에서 선택합니다. 새 패턴은 먼저 "감지만"으로 켜서 얼마나 걸리는지 본 뒤에 변경할 수 있습니다.
직원이 보낸 프롬프트
이 설정 파일이 왜 동작하지 않는지 봐 줘. aws_access_key_id = AKIAIOSFODNN7EXAMPLE 고객 문의: 홍길동, 010-1234-5678, 900101-1234567
AI 서비스로 전달된 내용
이 설정 파일이 왜 동작하지 않는지 봐 줘. aws_access_key_id = ******************** 고객 문의: 홍길동, 010-1234-****, ******-*******
- AWS 액세스 키
- 전화번호
- 주민등록번호
기능
AI 사용을 통제하는 기능
정책은 관리 콘솔에서 사용자와 그룹 단위로 정합니다.
가상 키
회사의 실제 API 키는 게이트웨이만 사용하고, 사용자와 애플리케이션에는 가상 키를 발급합니다. 가상 키는 하나씩 폐기합니다.
모델 제한
토큰 단가가 상한을 넘는 모델과 사용하지 않기로 한 모델을 막습니다. 사용자와 그룹마다 사용할 수 있는 모델을 정합니다.
내용 검사
프롬프트와 스트리밍 답변에 값 패턴을 적용합니다. AWS 액세스 키, 개인키, DB 접속 문자열 같은 자격 증명 패턴이 기본으로 들어 있습니다.
사용 한도
사용자와 서비스별로 하루 또는 한 달의 토큰 수와 요청 수를 제한합니다.
도구 통제
MCP 서버의 도구 호출을 허용 목록으로 제한하고, 인자를 값 패턴으로 검사합니다.
연결 대상 변환
Amazon Bedrock, Google Vertex AI 같은 클라우드의 모델 서비스로 보낼 때 요청 형식을 변경해 줍니다. 연결 대상을 옮겨도 애플리케이션의 설정은 그대로입니다.
사내 모델 서버
vLLM, Ollama 같은 사내 모델 서버도 OpenAI 호환 서비스로 등록해 같은 규칙으로 검사합니다.
도구별 설정 파일
관리 콘솔이 Claude Code, Codex, Gemini CLI, SDK 의 설정 파일을 만들어 줍니다.
지원하는 AI 서비스
2026년 10월 기준
- 내용을 읽고 통제
- OpenAI 호환 API(OpenAI, Google Gemini, DeepSeek 등), Anthropic API, claude.ai 웹 앱, MCP 서버(Streamable HTTP)
- 연결 대상
- Amazon Bedrock, Google Vertex AI, Claude Platform on AWS, Microsoft Foundry, Azure OpenAI
- 사내 모델 서버
- vLLM, Ollama 등 OpenAI 호환 서버
- 개발 도구
- Claude Code, Codex, Gemini CLI, SDK
알려진 제약
- 목록 밖의 서비스와 인증서를 고정한 앱은 내용을 읽지 못하고 접속한 사실만 기록합니다.
- PC 에서 AI 서비스로 직접 나가는 길이 열려 있으면 에이전트를 끄고 우회할 수 있습니다. 방화벽에서 그 길을 닫습니다.
- 사용 한도는 몇 초 간격으로 집계하므로 그 사이의 초과분은 통과합니다. 비용을 관리하는 장치이고 보안 통제가 아닙니다.
- MCP 도구가 돌려준 결과에는 아직 마스킹을 적용하지 않습니다.
우리 환경에서 BeeHind 를 확인해 보십시오
보호할 DB, 서버, AI 서비스와 망 구성을 알려 주시면 맞는 구성과 도입 순서를 안내해 드립니다. 서버 한 대로 시작할 수 있습니다.