RAG, 생성형 AI의 약점을 메우다

챗GPT와 같은 생성형 AI 도구는 일관된 응답을 생성하는 데 필요한 언어 패턴을 학습하기 위해 방대한 양의 텍스트 데이터로 훈련된 대형 언어 모델을 기반으로 합니다. 그러나 학습 데이터는 방대하지만 범위가 제한되어 있고 도메인별 또는 최신 데이터가 없습니다.

또, LLM은 학습 데이터에서 학습한 언어 패턴을 기반으로 새로운 정보를 생성하며, 그 과정에서 전적으로 신뢰할 수 있는 것처럼 보이는 사실을 만들어내는 경향이 있습니다. 이것이 바로 생성형 AI의 환각(할루시네이션)이라는 것입니다. 정확성이 중요한 업계에서는 이 환각 문제가 생성형 AI 활용의 걸림돌로 작용하고 있습니다.

RAG가 기업에서 생성형 AI의 발목을 잡고 있던 문제를 해결합니다. 생성형 AI 도구는 RAG 시스템을 통해 대형 언어 모델(LLM)이 학습한 데이터 외의 관련 데이터에 액세스할 수 있는 방법을 갖게 되었습니다. 특정 데이터를 생성형 AI에 연계하여 해당 영역에 대한 질문-답변 정확도를 비약적으로 상승시킵니다.

위 과정을 다시 정리하면 다음과 같습니다.

기업에서는 생성형 AI에 대하여 다음과 같은 추가적인 요구사항을 가지고 있습니다.

• 모든 관련 최신 도메인별 데이터를 포함하여 포괄적이고 시의적절해야 한다.
• 결과물에 사용된 모든 출처를 인용하여 신뢰할 수 있고 투명해야 한다.
• LLM 학습 데이터가 아닌 신뢰할 수 있는 특정 데이터 세트에 기반하여 신뢰할 수 있고 정확해야 한다.

RAG를 사용하면 생성형 AI 도구가 이러한 요구 사항을 충족할 수 있습니다. RAG 기반 시스템은 대량의 불완전한 비정형 데이터에서 정확한 요약과 인사이트를 추출해 자연어로 명확하고 정확하게 제시해야 하는 지식 집약적인 워크플로우를 처리하도록 만들어질 수 있습니다.

RAG에는 기본적으로 4가지 단계가 있습니다.

• 벡터화 – 신뢰할 수 있는 소스에서 관련 정보를 텍스트를 시스템 분류용 특수 코드로 변환한다.
• 검색 – 수학적 표현을 사용하여 쿼리를 신뢰할 수 있는 정보 소스에 포함된 유사한 코드와 일치시킨다.
• 순위 – 질문 내용, 사용자, 정보 출처를 고려하여 가장 유용한 정보를 선택하라.
• 세대 – 해당 문서에서 가장 관련성이 높은 부분을 질문과 결합하여 LLM에 공급하여 결과물을 생성한다.

LLM에만 의존하여 응답을 생성하는 생성형 AI 도구와 달리, RAG 기반 생성형 AI 도구는 기초 데이터를 적절히 소싱하고 검증하는 한, 훨씬 더 정확하고 포괄적이며 관련성이 높은 결과물을 생성합니다. 기업 사용자도 출력된 결과를 신뢰하고 중요한 워크플로우에 사용할 수 있는 것입니다.

생성형 AI의 단점을 메워주는 RAG는 보다 다양하고 넓은 범위에서 생성형 AI를 사용할 수 있게 만들어 줍니다. 이런 형태로 다양한 서비스가 나오고, 이용되며 한층 더 발전된 AI 시장이 형성될 것으로 기대됩니다.