Hallucinations with High Accuracy and Low Cost

• Related Project: Private
• Category: Paper Review
• Date: 2024-06-10

Luna: An Evaluation Foundation Model to Catch Language Model Hallucinations with High Accuracy and Low Cost

• url: https://arxiv.org/abs/2406.00975
• pdf: https://arxiv.org/pdf/2406.00975
• html https://arxiv.org/html/2406.00975
• abstract: Retriever Augmented Generation (RAG) systems have become pivotal in enhancing the capabilities of language models by incorporating external knowledge retrieval mechanisms. However, a significant challenge in deploying these systems in industry applications is the detection and mitigation of hallucinations: instances where the model generates information that is not grounded in the retrieved context. Addressing this issue is crucial for ensuring the reliability and accuracy of responses generated by large language models (LLMs) in diverse industry settings. Current hallucination detection techniques fail to deliver accuracy, low latency, and low cost simultaneously. We introduce Luna: a DeBERTA-large (440M) encoder, finetuned for hallucination detection in RAG settings. We demonstrate that Luna outperforms GPT-3.5 and commercial evaluation frameworks on the hallucination detection task, with 97% and 91% reduction in cost and latency, respectively. Luna is lightweight and generalizes across multiple industry verticals and out-of-domain data, making it an ideal candidate for industry LLM applications.

TL;DR

Luna: 효율적인 환각 탐지를 위한 언어 모델

1. 문제점: 대규모 언어모델(Large Language Models, LLM)은 대화에서 잘못된 정보(hallucination, 환각)를 제공할 수 있습니다.
2. 해결책: Luna, DeBERTa-large 기반의 모델을 환각 탐지에 특화하여 fine-tuning함으로써 기존 모델보다 빠르고 비용 효율적인 환각 탐지가 가능합니다.
3. 성과: Luna는 다양한 산업 분야에서 환각 탐지에 개선된 성능을 보이며, 비용과 지연 시간을 각각 97%, 91% 감소시켰습니다.

최근 리트리버 강화 생성(RAG) 시스템은 외부 지식 검색 메커니즘을 통합하여 언어 모델의 성능을 향상하는 데 중요한 역할을 하고 있습니다. 하지만 이런 시스템을 산업 현장에 적용하는 데 있어 중요한 과제는 환각(hallucination) 탐지 및 완화입니다. 환각이란 모델이 검색된 컨텍스트와 근거가 없는 정보를 생성하는 경우를 말합니다. 이 문제를 해결하는 것은 다양한 산업 분야에서 대규모 언어모델(LLM)이 생성하는 응답의 신뢰성과 정확성을 확보하기 위해 필수적일 수 있습니다. 현재의 환각 탐지 기술은 정확도, 저지연, 저비용을 동시에 달성하는 데 한계가 있습니다.

이에 Luna라는 시스템을 제안합니다. Luna는 DeBERTA-large (440M) 인코더를 기반으로 RAG 시스템에서의 환각 탐지를 위해 파인튜닝된 모델입니다. Luna가 환각 탐지 태스크에서 GPT-3.5 및 상용 평가 프레임워크보다 우수한 성능을 보이며 비용과 지연 시간을 각각 97%와 91% 감소시킨다는 것을 보여드립니다. Luna는 가볍고 여러 산업 분야 및 도메인 외부 데이터에서도 일반화되기 때문에 산업용 LLM 애플리케이션에 적합한 선택이 될 수 있습니다.

배경 및 도입

언어 모델은 다양한 산업 분야에서 고객과의 대화를 지원하는 데 사용됩니다. 이 모델들은 사용자의 질문에 관련 지식을 검색하여 답변을 생성하는 Retrieval-Augmented Generation (RAG) 기술을 활용합니다. 하지만, 이런 시스템은 때때로 검증되지 않은 정보를 생성하는 환각 문제를 겪습니다. 이런 환각은 모델의 신뢰성을 저하시키고, 실제 산업 환경에서의 사용에 큰 장애가 됩니다.

문제 정의 및 선행 연구

환각은 모델이 검색된 내용과 무관하게 잘못된 정보를 생성하는 현상을 말합니다. 이전 연구에서는 환각을 감지하고 수정하기 위한 다양한 접근 방식이 제안되었으나, 정확도, 비용, 지연 시간을 모두 만족시키는 방법은 제한적이었습니다. 기존의 환각 감지 기술은 대부분 고비용의 LLM을 필요로 하며, 실시간 처리에 적합하지 않았습니다.

Luna 모델의 도입

Luna는 DeBERTa-large 인코더를 기반으로 하며, 환각 탐지에 특화되어 훈련됩니다. Luna는 기존의 GPT-3.5 및 상업적 평가 프레임워크들보다 우수한 성능을 보이며, 다양한 산업 분야의 데이터에 대해서도 일반화 능력이 뛰어납니다.

1. [경량화 및 최적화] Luna는 440M 파라미터로 구성된 DeBERTa-large 모델을 사용하여, 기존 모델들에 비해 계산 리소스를 크게 줄였습니다.
2. [산업 범용성] Luna는 다양한 산업 분야에서 환각을 효과적으로 탐지할 수 있으며, 새로운 도메인에도 쉽게 적용할 수 있습니다.
3. [성능] Luna는 환각 탐지 작업에서 97%의 비용 절감과 91%의 지연 시간 단축을 달성했습니다.

Luna는 대규모 언어모델의 환각 문제를 효과적으로 감지하고 대응할 수 있는 경제적이고 빠른 솔루션을 목표로, 고객 대면 언어 모델을 산업에 효과적으로 배포하는 데 큰 도움을 줄 수 있으므로 언어 모델의 신뢰성과 정확성 및 신뢰도를 향상시킬 것으로 기대됩니다.