고객이 특약의 중복 보장 여부를 물을 때마다 두꺼운 약관집을 직접 검색하거나 담당 부서에 문의하느라 통화 대기시간이 길어지던 하루. Rubix에 질문을 입력하면 RAGo가 핵심 문맥을 파악해 정확한 조항과 요약 답변을 즉시 내놓으면서, 상담원의 숙련도와 무관하게 24시간 상향 평준화된 응대가 가능해집니다.

비정형 청구서류와 인수 심사 가이드라인을 수동으로 대조하고 여러 시스템에 각각 로그인해야 했던 하루. ToolHub가 내부 심사·계약 시스템 API를 AI 에이전트와 연결하면서, AI가 청구 정보를 읽고 지급 적격 여부와 근거를 실시간으로 추천하고 계약 변경 사항까지 함께 처리합니다.

법 개정이나 감독당국 권고안이 내려올 때마다 문서를 직접 읽고 내규와 수동으로 대조하던 하루. 최신 법령을 RAGo에 업로드하면 RAPTOR 방식의 맥락 이해 기술이 내부 정책과의 충돌 지점을 스스로 식별해 리포트를 자동 생성합니다.

인사·여신·보험 상품·컴플라이언스 등 도메인별로 독립된 RAG 서버를 구동해 정보 혼선을 막습니다. 방대한 약관집은 RAPTOR 방식으로 계층 트리 구조를 만들어 전체 맥락을 정확히 인지합니다.

▲ Rubix 챗봇 화면

RAGo로 지식을 갖춘 챗봇에게 어떤 태도로 답할지, 정보가 없을 때 어떻게 대처할지를 부여합니다. 페이지를 이동해도 앞선 대화 맥락이 유지됩니다.

내부 ‘가입 심사 시스템’, ‘계약 관리 시스템’ API를 AI 에이전트와 연결합니다. MCP 표준을 사용해 레거시 시스템 연동에 드는 비용과 시간을 최소화합니다.

엄격한 금융 보안 가이드라인과 내부 원천 데이터 보호를 위해 온프레미스 구축이 우선 고려됩니다. LLM 추론 서버는 GPU 48GB급(NVIDIA RTX A6000·L4·A10 등), RAGo·ToolHub 서버는 각각 CPU 2코어·RAM 2GB 이상의 경량 구성으로도 운영할 수 있어 초기 투자 부담을 조절할 수 있습니다. 자체 GPU 운영 부담을 줄이고 싶다면 AWS Bedrock, Azure OpenAI Service 등 VPC 기반 Private Cloud LLM을 상호 보완적으로 병행합니다.

RAGo는 문서마다 열람 가능한 사용자 그룹을 지정하는 ACL(Access Control List) 기능을 제공해, 같은 RAG 안에서도 문서 단위로 접근 범위를 나눌 수 있습니다. 여기에 SSO(Single Sign-On) 및 LDAP 사내 인사 시스템과 동기화해, 사용자 등급에 따라 검색·조회 가능한 범위를 이중으로 제어합니다.

기존 보안 솔루션과 연계하여, 사용자나 AI Agent가 LLM에 전달하는 질의(Query)에 개인 또는 기업의 민감정보가 포함될 경우 이를 사전에 차단합니다. 이를 통해 안전하게 LLM을 이용할 수 있는 환경을 구축합니다.

모든 데이터를 단일 인덱스에 몰아넣어 정보 혼선이 생기던 기존 RAG와 달리, 인사·여신·보험 상품·컴플라이언스 등 부서·도메인별로 독립된 RAG 서버를 구동해 정확도를 보장합니다. 도메인에 특화된 임베딩 모델을 서버마다 적용해 검색 효율을 높였습니다.

단순 키워드 매칭이나 문장 분할 검색의 한계를 넘어, 방대한 보험 약관집 전체를 계층 트리 구조로 요약해 전체 맥락을 정확히 인지하고 유기적으로 답변을 도출합니다.

앞으로 어떤 새로운 LLM 모델(OpenAI, Gemini, Claude, 국산 sLLM 등)이나 새로운 도구가 등장하더라도, 시스템 전체를 재구축할 필요 없이 표준 프로토콜을 통해 플러그앤플레이 방식으로 즉시 연동할 수 있습니다.

업무에 필요한 다양한 AI Agent를 직접 생성하고 적용할 수 있어, 앞으로 필요해질 Agent 기능을 자체적으로 설계·개발·적용할 수 있게 됩니다.