Chat Vector

• Related Project: Private
• Category: Paper Review
• Date: 2023-12-26

Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages

• url: https://arxiv.org/abs/2310.04799
• pdf: https://arxiv.org/pdf/2310.04799
• html: https://arxiv.org/html/2310.04799v1
• abstract: Recently, the development of open-source large language models (LLMs) has advanced rapidly. Nevertheless, due to data constraints, the capabilities of most open-source LLMs are primarily focused on English. To address this issue, we introduce the concept of chat vector to equip pre-trained language models with instruction following and human value alignment via simple model arithmetic. The chat vector is derived by subtracting the weights of a pre-trained base model (e.g. LLaMA2) from those of its corresponding chat model (e.g. LLaMA2-chat). By simply adding the chat vector to a continual pre-trained model’s weights, we can endow the model with chat capabilities in new languages without the need for further training. Our empirical studies demonstrate the superior efficacy of the chat vector from three different aspects: instruction following, toxicity mitigation, and multi-turn dialogue. Moreover, to showcase the adaptability of our approach, we extend our experiments to encompass various languages, base models, and chat vectors. The results underscore the chat vector’s simplicity, effectiveness, and wide applicability, making it a compelling solution for efficiently enabling conversational capabilities in pre-trained language models.

TL;DR

• 파라미터 벡터 조작을 통한 언어 모델 향상 방법 제안
• 수학적 논리에 기반한 모델 조정을 통해 다양한 언어로 확장 가능성 탐구
• 실험적 검증을 통해 효과적인 인스트럭션 수행 및 톡시시티 관리 능력 입증

서론

현대의 대규모 언어모델(LLM)은 주로 영어 데이터에 기반하여 훈련되며, 다양한 언어로의 확장은 데이터의 제약으로 인해 어려움이 있습니다. 본 논문에서는 기존의 영어 기반 프리트레인된 모델(PLM)을 비영어 타겟으로 효율적으로 확장할 수 있는 새로운 방법을 제안합니다. 이는 특정 언어 데이터로 지속적인 프리트레이닝(ontinual Pre-training, CP)을 진행한 뒤, 파라미터 벡터를 조작하여 모델의 대화 능력을 향상시키는 방식입니다.

배경

대화형 모델의 핵심 능력은 사용자의 요구를 정확히 이해하고 적절히 반응하는 것입니다. 이를 위해, RLHF(Reinforcement Learning from Human Feedback)와 같은 기법이 사용되어 왔습니다. 그러나, 이 방법은 많은 휴먼의 피드백을 필요로 하며, 상당한 계산 자원을 소모합니다. 최근 연구에서는 특정 태스크를 수행하도록 파인튜닝된 모델의 파라미터에서 베이스 모델의 파라미터를 빼서 태스크 벡터를 생성하는 방법이 제시되었습니다. 본 연구는 이런 이론을 바탕으로, CP(Continual Pre-training)와 챗 벡터의 도입을 통해 모델을 더욱 간소화하고 효율적으로 개선할 수 있는 방법을 제안합니다.

방법

LLaMA-2 모델을 기반으로 한 CP를 수행한 후, LLaMA-2-chat 모델로부터 챗 벡터를 추출하여 기존 모델에 추가함으로써, 모델이 대화에 필요한 특성을 습득하게 합니다. 수학적으로, 챗 벡터 \(\tau\)는 다음과 같이 정의됩니다.

이 챗 벡터를 CP로 학습된 모델에 적용하면, 모델은 새로운 언어와 문화에 맞는 대화 능력을 획득할 수 있습니다. 이를 통해, 휴먼과의 상호작용 중 발생할 수 있는 문제들을 해결하고, 더 나은 사용자 경험을 제공할 수 있습니다.

실험

본 연구에서는 다양한 언어와 데이터셋을 사용하여 제안한 방법의 효과를 검증하였습니다. Traditional Chinese를 대상으로 한 실험에서는 SAFETYPROMPTS, REALTOXICITYPROMPTS 및 Vicuna Benchmark를 사용하여 모델의 인스트럭션 따르기 능력, 톡시시티 제어 능력을 평가하였습니다. 결과는 챗 벡터를 추가한 모델이 기존 모델보다 더 개선된 성능을 보였으며, 특히 인스트럭션 수행 능력에서 두드러진 개선을 보였습니다.

결론

이 연구를 통해, 비영어 LLM의 효율적인 향상을 위한 새로운 접근 방법을 제시합니다.