기존 RAG가 놓치는 지점

RAG(Retrieval-Augmented Generation)는 AI 언어 모델이 답변을 생성할 때 외부 문서를 실시간으로 검색해 맥락으로 삼는 기술입니다. 문서를 작은 조각(chunk)으로 나눠 벡터로 변환한 뒤, 질문과 의미적으로 가까운 조각을 찾아 답변에 반영하는 방식으로 동작합니다.

문제는 이 조각들이 서로 연결되지 않은 상태로 검색된다는 점입니다. 여러 문서에 흩어진 정보를 종합해야 답이 나오는 질문, 예를 들어 조직 내 여러 프로젝트와 담당자의 관계를 함께 살펴야 하는 질문에는 단일 문서 검색만으로 대응하기 어렵습니다. 검색된 조각을 모델이 스스로 조합해야 하다 보니 답변의 근거를 추적하기도 쉽지 않습니다.

2024년 4월 마이크로소프트 리서치가 발표한 논문 'From Local to Global: A Graph RAG Approach to Query-Focused Summarization'은 바로 이 지점, 즉 개별 문서 검색만으로는 답할 수 없는 전역적(global) 질문에 기존 RAG가 취약하다는 문제의식에서 출발했습니다.

RAG와 GraphRAG, 무엇이 다를까

두 방식의 차이는 검색 대상과 강점이 발휘되는 질문 유형에서 드러납니다.

관련 연구에서는 그래프 구조를 RAG에 결합했을 때 벡터 검색만 사용한 경우보다 답변 정확도가 최대 35%까지 향상된 사례도 보고되고 있습니다. 다만 이는 특정 실험 환경의 수치이며, 그래프 구축과 유지에 드는 비용도 함께 고려해야 할 요소입니다.

온톨로지가 다시 주목받는 이유

온톨로지는 특정 분야의 개념과 개념 간 관계를 미리 정의해 둔 일종의 설계도입니다. 시맨틱 웹 시대의 개념으로 여겨지며 한동안 관심에서 멀어졌지만, GraphRAG가 확산되면서 다시 핵심 개념으로 돌아오고 있습니다.

이유는 지식 그래프의 품질이 결국 사전에 정의된 구조에 좌우되기 때문입니다. 온톨로지 없이 지식 그래프부터 구축하면 같은 개체가 여러 이름으로 중복 등록되거나 관계 정의가 제각각이 되는 '노드 증식'과 '드리프트' 문제가 발생하기 쉽습니다. 온톨로지가 먼저 자리 잡혀 있어야 그래프가 일관된 구조를 유지하고, 추론 규칙을 통해 새로운 사실을 도출하거나 논리적 오류를 걸러낼 수 있습니다.

실제로 업계에서는 RAG와 지식 그래프 중 어떤 검색 아키텍처를 택하든, 메타데이터 거버넌스(용어집, 데이터 계보, 소유권 관리 등)의 수준이 AI 답변 신뢰도를 좌우한다는 논의가 늘고 있습니다. 검색 방식의 경쟁보다, 데이터에 얼마나 잘 정의된 의미 구조를 갖추고 있느냐가 더 근본적인 질문이라는 관점입니다.