Evaluation | KorNAT

• Related Project: Private
• Category: Paper Review
• Date: 2024-06-04

KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge

• [url] https://arxiv.org/abs/2402.13605
• [pdf] https://arxiv.org/pdf/2402.13605
• html https://arxiv.org/html/2402.13605v1
• [abstract] For Large Language Models (LLMs) to be effectively deployed in a specific country, they must possess an understanding of the nation’s culture and basic knowledge. To this end, we introduce National Alignment, which measures an alignment between an LLM and a targeted country from two aspects: social value alignment and common knowledge alignment. Social value alignment evaluates how well the model understands nation-specific social values, while common knowledge alignment examines how well the model captures basic knowledge related to the nation. We constructed KorNAT, the first benchmark that measures national alignment with South Korea. For the social value dataset, we obtained ground truth labels from a large-scale survey involving 6,174 unique Korean participants. For the common knowledge dataset, we constructed samples based on Korean textbooks and GED reference materials. KorNAT contains 4K and 6K multiple-choice questions for social value and common knowledge, respectively. Our dataset creation process is meticulously designed and based on statistical sampling theory and was refined through multiple rounds of human review. The experiment results of seven LLMs reveal that only a few models met our reference score, indicating a potential for further enhancement. KorNAT has received government approval after passing an assessment conducted by a government-affiliated organization dedicated to evaluating dataset quality. Samples and detailed evaluation protocols of our dataset can be found in this https URL.

Contents

• KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge
  • TL;DR

TL;DR

• [문제 인식] 대규모 언어모델(LLMs)은 주로 영어 기반 문화에 치우친 경향이 있어 다양한 문화권의 가치와 지식을 제대로 반영하지 못하는 문제가 있습니다.
• [해결 방법] 한국의 사회적 가치와 상식에 맞춘 국가 정렬성 평가벤치마크인 KorNAT를 개발하여, 모델이 한국의 문화와 지식을 얼마나 잘 반영하는지 평가합니다.
• [방법] 사회적 가치와 상식을 기반으로 질문을 구성하고, 실제 한국인의 응답을 바탕으로 정답 분포를 설정하여 모델의 정렬성을 측정합니다.

3.1. 사회적 가치 데이터셋

사회적 가치와 관련된 데이터셋은 한국 내 사회적 이슈에 기반하여 구성되었습니다. 주요 이슈를 반영한 키워드를 추출하고, 이를 바탕으로 다양한 질문을 생성하였습니다. 질문은 GPT-3.5-Turbo를 사용하여 자동으로 생성한 후, 휴먼 검토자의 두 차례 검토를 거쳐 최종적으로 수정 및 확정되었습니다. 이후 실제 한국인을 대상으로 설문조사를 실시하여, 각 질문에 대한 응답 분포를 구하고 이를 정답 분포로 활용하였습니다.

3.2. 상식 데이터셋

상식 데이터셋은 한국의 필수 교육 과정을 기반으로 질문이 구성되었습니다. 교과서와 참고서에서 정보를 추출하여, 다양한 학문 분야에 걸쳐 질문과 답안을 개발하고, 휴먼 검토자의 검토를 거쳐 질문의 정확성을 확인하였다고 합니다.