RAG | PlanRAG

• Related Project: Private
• Category: Paper Review
• Date: 2024-06-24

PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers

• url: https://arxiv.org/abs/2406.12430
• pdf: https://arxiv.org/pdf/2406.12430
• abstract: In this paper, we conduct a study to utilize LLMs as a solution for decision making that requires complex data analysis. We define Decision QA as the task of answering the best decision, dbest, for a decision-making question Q, business rules R and a database D. Since there is no benchmark that can examine Decision QA, we propose Decision QA benchmark, DQA. It has two scenarios, Locating and Building, constructed from two video games (Europa Universalis IV and Victoria 3) that have almost the same goal as Decision QA. To address Decision QA effectively, we also propose a new RAG technique called the iterative plan-then-retrieval augmented generation (PlanRAG). Our PlanRAG-based LM generates the plan for decision making as the first step, and the retriever generates the queries for data analysis as the second step. The proposed method outperforms the state-of-the-art iterative RAG method by 15.8% in the Locating scenario and by 7.4% in the Building scenario, respectively. We release our code and benchmark at this https URL.

SKIP

TL;DR

LLM을 활용한 결정 문제 해결 응용: PlanRAG 기법 소개

• LLM을 사용하여 복잡한 데이터 분석이 필요한 결정 문제를 해결하는 새로운 방법을 제안합니다.
• 비즈니스 시나리오에 기반한 새로운 벤치마크인 DQA를 개발하여 이 방법의 유효성을 검증합니다.
• PlanRAG는 기존의 RAG 방식을 개선하여 결정 문제에 특화된 계획-검색-생성 접근 방식을 도입합니다.

[결정 문제의 중요성과 기존 접근 방식의 한계]

비즈니스 및 다양한 분야에서 복잡한 데이터 기반 결정 문제는 중요한 과제로 이런 결정 문제는 적절한 데이터 검색과 분석을 통해 최적의 결정을 도출해야 하며, 이 과정은 효과적인 데이터 지원 시스템(DSS)에 의존해 왔습니다. 기존의 DSS는 데이터 검색과 분석을 자동화하였으나, 계획 수립 과정은 여전히 휴먼의 개입을 필요로 했습니다. 최근의 LLM(Large Language Model) 기술 발전은 이런 결정 과정의 자동화 가능성을 제시하지만, 기존의 RAG(Retrieval-Augmented Generation) 방식만으로는 복잡한 비즈니스 결정 문제를 효과적으로 해결하기 어렵습니다.

[방법]

결정 문제를 효과적으로 해결하기 위해선 데이터 검색, 분석, 그리고 계획 수립이 중요하며, 이 모든 단계를 LLM이 자동으로 처리할 수 있는 방법이 필요합니다. 이를 위해 본 연구에서는 PlanRAG 기법을 제안합니다.

[PlanRAG의 구조]

PlanRAG는 기존 RAG 기법을 확장한 것으로, 첫 번째로 계획 수립 단계에서 어떤 데이터 분석이 필요한지를 결정합니다. 이후 데이터 검색 단계에서 필요한 데이터를 검색하고, 마지막으로 검색된 데이터를 바탕으로 최종 결정을 내리는 구조입니다.

[수학적 모델링]

PlanRAG는 다음과 같은 수식으로 표현하는데,

수식에서 $d_{best}$는 최적의 결정을 의미합니다.

[실험 및 결과 분석]

• 벤치마크 DQA의 개발 Europa Universalis IV와 Victoria 3 두 비디오 게임을 활용하여 실제 비즈니스 시나리오를 모사한 DQA 벤치마크를 개발했습니다. 이 게임들은 국제 무역과 같은 복잡한 경제 결정을 포함하고 있어, 결정 QA 문제에 적합한 시나리오를 제공합니다.
• PlanRAG의 성능 검증 개발된 DQA 벤치마크를 사용하여 PlanRAG의 성능을 기존 RAG 기법과 비교 분석하였습니다. PlanRAG는 두 시나리오 모두에서 기존 방법 대비 개선된 성능 향상을 보였으며, 특히 계획 수립의 자동화가 결정 문제 해결에 크게 기여하였습니다.

[결론]

PlanRAG는 복잡한 데이터 기반 결정 문제에 대한 해결 방법을 제시하며, LLM의 적용 범위를 확장합니다. 이 연구는 향후 LLM 기술이 실제 비즈니스 의사 결정 과정을 모방해 어떤 역할을 할 수 있는지 보여줍니다.