[데이터넷] “생성형 AI를 도입해 실질적인 비즈니스 가치 창출로 이어진 사례는 20%가 채 되지 않는다. 단순히 정보를 검색하고 답을 얻는 것을 넘어, AI가 기존 시스템과 연동해 실제 업무를 ‘실행’하도록 만들어야 한다. AI의 진정한 가치는 바로 실행력에서 나온다”
오재철 아이온커뮤니케이션즈 대표는 생성형 AI 시대의 새로운 화두로 ‘에이전틱 AI’를 제시하며 이같이 말했다.
챗GPT 등장 이후 수많은 기업이 거대언어모델(LLM)을 도입했지만, 기업 내부 데이터와 단절된 ‘반쪽짜리 AI’에 머무르거나, 단순 질의응답 수준에 그쳐 투자 대비 효용을 얻지 못하는 경우가 많다는 지적이다.
아이온커뮤니케이션즈는 이러한 문제를 해결하기 위해 ‘질의’와 ‘지시’를 동시에 수행할 수 있는 에이전틱 AI 플랫폼 ‘라토루(RaToRu)’를 선보였다.
라토루는 MCP 기반 멀티 지식 도메인 RAG 서버 ‘라고(RAGo)’, 인프라 API를 AI와 접목하게 하는 연계 서버 ‘툴허브(ToolHub)’, 멀티 LLM과 멀티지식도메인을 활용하도록 하는 인터페이스 서버 ‘루빅스(Rubix)’ 등의 세 가지 모듈로 구성됐다.
이 모듈들은 서로 유기적으로 연결되어, 기업별 맞춤형 AI 활용 환경을 구현할 수 있도록 지원한다.
오 대표는 “성공적인 AI 도입의 핵심은 ‘문제를 어떻게 정의하느냐’에 달려있다”며 “우리는 기술 자체의 구현을 넘어, AI를 운영하며 발생하는 현실적인 문제와 기업의 실질적인 생산성 향상에 집중했다”고 강조했다.
단일 RAG의 한계, 멀티 RAG가 해법
기업이 LLM에 내부 데이터를 학습시키는 대표적인 방법은 검색증강생성(RAG)이다. 하지만 방대한 내부 데이터를 단일 RAG로 구성할 경우, 참조해야 할 벡터DB가 커지면서 응답 속도가 느려지고 정확도가 떨어지는 문제가 발생한다.
오재철 대표는 “RAG가 커지면서 발생하는 문제에 집중했다. 데이터가 많아질수록 오히려 AI의 성능이 저하되는 아이러니를 해결해야 했다”며 기존 단일 RAG의 한계를 지적했다.
라토루의 핵심 시스템 중 하나인 라고는 이러한 문제를 해결하기 위해 국내 최초로 ‘멀티 RAG’ 아키텍처를 도입했다. 사용자의 질문 의도를 파악하는 라우터가 각 도메인 지식에 특화된 여러 벡터DB 중 가장 유사도가 높은 곳으로 질문을 안내하는 방식이다.
이를 통해 단일 거대 인덱스가 가진 속도 저하와 정확도 문제를 해결하고, 대규모 엔터프라이즈 환경에서도 최적의 성능을 유지할 수 있다.
레거시 시스템 연동으로 실행력 강화
오재철 대표는 많은 기업에서 AI 도입을 어려워하는 또 다른 이유로 ‘실행력 부재’를 꼽았다. AI가 아무리 답변을 내놓아도, 그 결과를 실제 업무 시스템에 반영하려면 결국 사람이 개입해야 한다는 것이다.
오 대표는 “고객들이 질의 시스템을 생각보다 잘 쓰지 않는다는 점에서 착안했다. 생성형 AI를 제대로 활용하려면 ‘지시’를 통해 실행력을 갖춰야 한다”며 “‘항공권 예약해줘’와 같은 지시에 따라 AI가 기존 예약 시스템의 API를 호출해 업무를 완수할 수 있어야 실행 가능한 AI 에이전트”라고 강조했다.
라토루의 툴허브는 이러한 ‘실행’을 담당한다. 기존 레거시 시스템의 API를 생성형 AI와 연동시켜, 단순 정보 조회를 넘어 실제 업무 프로세스를 자동화한다. 이를 통해 기업은 막대한 구축 비용 없이도 기존 인프라 위에서 AI의 가치를 극대화할 수 있다.
