자비스앤빌런즈 삼쩜삼, AI 통합 플랫폼 '카터' 구축

AI 에이전트 8개 통합 관리…AI 모델 효율화로 호출비용 45% 줄여

[비욘드포스트 이순곤 기자] 세금 환급 플랫폼 '삼쩜삼'을 운영하는 자비스앤빌런즈가 사내 인공지능(AI) 에이전트를 통합 관리하는 자체 플랫폼 '카터(Carter)'를 구축하고, 거대언어모델(LLM) 호출비용을 약 45% 절감했다고 27일 밝혔다.

카터는 AI 에이전트 개발과 운영에 필요한 비용 관리, 모니터링, 보안 기능을 하나로 모은 플랫폼이다. 현재 삼쩜삼Q와 삼쩜삼 앱 AI 에이전트를 비롯해 서비스와 사내 업무에 활용되는 AI 에이전트 8개를 관리하고 있다.
자비스앤빌런즈는 AI 모델을 작업에 따라 구분해 사용하는 '모델 티어링' 방식으로 비용을 줄였다. 답변 생성에는 고성능 모델을 유지하면서 의도 분류와 안전 판정 등 보조 작업에는 경량 모델을 적용했다. 전체 호출의 약 50%를 경량 모델로 처리해 LLM 호출비용을 약 45% 낮췄다는 설명이다.

반복되는 프롬프트를 저장해 재사용하는 '프롬프트 캐싱'도 도입했다. 이를 통해 캐시가 재사용되는 구간의 호출비용을 약 43% 절감했다. 두 수치는 서로 다른 비용 절감 효과를 나타낸다.

보안 관리도 통합했다. 카터를 거치는 AI 호출을 중앙에서 추적하고 개인정보 자동 비식별화와 프롬프트 인젝션 공격 차단 기능을 공통으로 제공한다. 클라우드 장애 발생 시 다른 환경으로 자동 전환하는 시스템도 적용했다.
자비스앤빌런즈는 사내 지식 자산을 통합 검색하는 '지식 오케스트레이터'와 AI 에이전트 답변의 품질을 정량적으로 평가하는 체계도 구축하고 있다.

강병규 자비스앤빌런즈 최고기술책임자(CTO)는 "사내 AI 에이전트와 지식 자산을 카터로 통합해 AI 운영 효율을 높이고 안전한 활용 기반을 마련했다"며 "비용 절감에 그치지 않고 답변 품질까지 측정하고 관리하는 체계를 갖춰 나가겠다"고 말했다.

sglee640@beyondpost.co.kr