Efficient Tuning | QLoRA**

• Related Project: private
• Category: Paper Review
• Date: 2023-08-23

QLoRA: Efficient Finetuning of Quantized LLMs

• url: https://arxiv.org/abs/2305.14314
• pdf: https://arxiv.org/pdf/2305.14314
• library: https://github.com/huggingface/peft
• abstract: We present QLoRA, an efficient finetuning approach that reduces memory usage enough to finetune a 65B parameter model on a single 48GB GPU while preserving full 16-bit finetuning task performance. QLoRA backpropagates gradients through a frozen, 4-bit quantized pretrained language model into Low Rank Adapters~(LoRA). Our best model family, which we name Guanaco, outperforms all previous openly released models on the Vicuna benchmark, reaching 99.3% of the performance level of ChatGPT while only requiring 24 hours of finetuning on a single GPU. QLoRA introduces a number of innovations to save memory without sacrificing performance: (a) 4-bit NormalFloat (NF4), a new data type that is information theoretically optimal for normally distributed weights (b) double quantization to reduce the average memory footprint by quantizing the quantization constants, and (c) paged optimziers to manage memory spikes. We use QLoRA to finetune more than 1,000 models, providing a detailed analysis of instruction following and chatbot performance across 8 instruction datasets, multiple model types (LLaMA, T5), and model scales that would be infeasible to run with regular finetuning (e.g. 33B and 65B parameter models). Our results show that QLoRA finetuning on a small high-quality dataset leads to state-of-the-art results, even when using smaller models than the previous SoTA. We provide a detailed analysis of chatbot performance based on both human and GPT-4 evaluations showing that GPT-4 evaluations are a cheap and reasonable alternative to human evaluation. Furthermore, we find that current chatbot benchmarks are not trustworthy to accurately evaluate the performance levels of chatbots. A lemon-picked analysis demonstrates where Guanaco fails compared to ChatGPT. We release all of our models and code, including CUDA kernels for 4-bit training.

관련 모델: Guanco (Colab)

• 4-bits 양자화된 언어 모델의 파인튜닝 기법 QLoRA 제안
• 메모리 효율성 극대화를 통한 대규모 언어모델 파인튜닝 접근성 향상
• 데이터 품질과 적합성이 모델 성능에 미치는 영향 분석

선수 지식: Quantization

QLoRA는 하나의 저장 데이터 타입(일반적으로 4-bits NormalFloat)과 하나의 계산 데이터 타입(16bit BrainFloat)을 가지고, 순방향 및 역방향 패스를 수행하기 위해 저장 데이터 타입을 계산 데이터 타입으로 역양자화하지만, 오직 16bit BrainFloat를 사용하는 LoRA 파라미터에 대해서만 가중치 그래디언트를 계산합니다.

핵심방법

• 4-bit NormalFloat (NF4): 정규 분포 데이터에 대해 정보 이론적으로 최적화된 양자화 데이터 타입
• Double Quantization: 양자화 상수를 다시 양자화하는 방법으로, 파라미터당 평균 약 0.37bit를 절약
• Paged Optimizers: NVIDIA 통합 메모리를 사용하여 긴 시퀀스 길이를 가진 미니배치 처리 시 발생하는 그래디언트 체크포인팅 메모리 스파이크를 방지

LLM에 대한 정성적인 분석결과

QLoRA 상세

*출처: Enhancing Model Performance: The Impact of Fine-tuning with LoRA & QLoRA

1. 블록 단위 k-bit 양자화

양자화는 더 많은 정보를 가진 표현에서 적은 정보를 가진 표현으로 입력을 이산화하는 과정입니다. 일반적으로 32bit 부동소수점에서 8bit 정수로 변환하는 것과 같이 bit 수를 줄입니다.

기본적인 양자화 공식은 다음과 같습니다.

$X_{Int8} = round(\frac{127}{absmax(X_{FP32})}X_{FP32}) = round(c_{FP32} \cdot X_{FP32})$

상기 식에서 $c$는 양자화 상수 또는 양자화 스케일입니다.

역양자화는 다음과 같이 이루어집니다.

$dequant(c_{FP32}, X_{Int8}) = \frac{X_{Int8}}{c_{FP32}} = X_{FP32}$

*출처: QLora Technical Report

2. Low-rank Adapters (LoRA)

LoRA는 전체 모델 파라미터를 업데이트하지 않고 작은 세트의 학습 가능한 파라미터(어댑터)를 사용하여 메모리 요구사항을 줄입니다. LoRA는 다음과 같이 추가적인 인수분해된 투영을 통해 선형 투영을 확장합니다. ($L_1L_2$는 LoRA 페이퍼의 $A$$B$)

$Y = XW + sXL_1L_2$

상기 식에서 $X \in \mathbb{R}^{b \times h}$, $W \in \mathbb{R}^{h \times o}$, $L_1 \in \mathbb{R}^{h \times r}$, $L_2 \in \mathbb{R}^{r \times o}$이고 $s$는 스칼라입니다.

3. 4-bit NormalFloat 양자화

NormalFloat(NF) 데이터 타입은 입력 텐서의 각 양자화 빈에 동일한 수의 값이 할당되도록 하는 Quantile Quantization을 기반으로 합니다. k-bit NormalFloat의 양자화 값 $q_i$는 다음과 같이 계산됩니다.

$q_i = \frac{1}{2}(Q_X(\frac{i}{2^k+1}) + Q_X(\frac{i+1}{2^k+1}))$

상기 식에서 $Q_X(\cdot)$는 표준 정규 분포 $N(0,1)$의 분위수 함수입니다. (LoRA의 기본 레이어 초기화 방식)

*출처: QLora Technical Report

4. Double Quantization (DQ)

DQ는 양자화 상수를 다시 양자화하여 추가적인 메모리 절약을 달성합니다. 첫 번째 양자화의 양자화 상수 $c_{FP32}$를 두 번째 양자화의 입력으로 처리합니다. 이 과정은 다음과 같이 표현될 수 있습니다.

$c_{FP8}^2 = quantize(c_{FP32}^2)$

$c_{FP32}^1 = dequantize(c_{FP8}^2)$

5. QLoRA 정의

QLoRA는 단일 선형 레이어에 대해 다음과 같이 정의되고,

$Y_{BF16} = X_{BF16}doubleDequant(c_{FP32}^1, c_2^{k-bit}, W_{NF4}) + X_{BF16}L_{BF16}^1L_{BF16}^2$

상기 식에서 doubleDequant 함수는 다음과 같이 정의됩니다.

$doubleDequant(c_{FP32}^1, c_2^{k-bit}, W_{k-bit}) = dequant(dequant(c_{FP32}^1, c_2^{k-bit}), W_{4bit}) = W_{BF16}$

QLoRA는 저장 데이터 타입(일반적으로 4-bit NormalFloat)과 계산 데이터 타입(16-bit BrainFloat)을 사용합니다. 순전파와 역전파를 수행할 때 저장 데이터 타입을 계산 데이터 타입으로 역양자화하지만, 오직 LoRA 파라미터에 대해서만 가중치 그래디언트를 계산합니다.

[참고자료 1] 데이터 타입과 QLoRA

테이블에서 $s$는 부호, $e$는 지수, $f$는 가수, $Q_X$는 표준 정규 분포의 분위수 함수

QLoRA의 메모리 절약

1. 기본 모델 양자화: 32bit → 4bit (87.5% 감소)
2. Double Quantization(DQ)
   • 일반 양자화: 0.5 bit/파라미터
   • Double Quantization: 0.127 bit/파라미터 (74.6% 추가 감소)

이를 수식으로 표현하면 다음과 같고, 이는 32bit 부동 소수점 대비 약 87.1%의 메모리 절약을 의미하며, QLoRA는 이런 효율적인 메모리 사용으로 대규모 언어모델의 파인튜닝을 단일 GPU에서도 가능하게 만듭니다.

Memory Usage = $4 \text{ bit} + 0.127 \text{ bit} = 4.127 \text{ bit}/\text{Parameters}$

$\text{Memory Save} = (1 - \frac{4.127}{32}) \times 100\% \approx 87.1\%$

*출처: QLoRA: A New Method for Finetuning LLMs with Low Memory and High Performance

실제 LLM 학습에서의 적용 (예시)

1. 4-bit NormalFloat (NF4)

32bit → 4bit (87.5% 감소)

4-bit NormalFloat (NF4) 사용 이유

• 4bit는 32bit 부동소수점에 비해 87.5%의 메모리를 절약할 수 있으면서 동시에 8bit보다 더 많은 메모리를 절약
• 정규 분포를 따르는 신경망 가중치를 표현하기에 충분한 Precision를 제공 (목적은 웨이트에 대한 조정)
• 최신 GPU들은 4bit 연산을 효율적으로 지원

메모리 점유

• 32bit 부동소수점: 32bit/값 (0.7853981633974483)
• NF4: 4bit/값 (0.7871)

original_weight = 0.7853981633974483
nf4_weight = quantize_to_nf4(original_weight)  # 0.7871

2. Double Quantization (DQ) 주로 8bit DQ

Double Quantization을 통한 전체 압축 효율은 93.75%

• 모델 가중치: FP32 → NF4 (또는 4bit 정수)
• 양자화 상수: FP32 → FP8

1. 첫 번째 양자화
   • 입력: 32bit 부동소수점 (FP32)
   • 출력: 일반적으로 4bit 정수 또는 4bit NormalFloat (NF4)
2. 두 번째 양자화 (양자화 상수에 대한 양자화)
   • 입력: 32bit 부동소수점 (FP32) 양자화 상수
   • 출력: 8bit 부동소수점 (FP8)

DQ를 통해 …

1. 모델 가중치는 4bit로 압축되어 저장됩니다. (GPU 연산 최적, 단점이라면 최신 GPU들이 지원)
2. 각 가중치 블록의 양자화 상수는 8bit로 저장됩니다. (CPU 페이징)

DQ를 통해 모델 가중치의 저장 공간을 크게 줄이면서도, 양자화 상수의 Precision를 어느 정도 유지할 수 있으며, 8bit 양자화 상수는 4bit보다 더 정확한 역양자화(dequantization)를 가능하므로 전체적인 모델 성능 유지에 도움을 줍니다. (Quantization으로 인한 퍼포먼스 손실 최소화)

8bit DQ 사용 이유

• 양자화 상수는 모델의 전체적인 스케일을 결정하는 중요한 값이므로 4bit보다 더 높은 Precision가 필요하며, 8bit는 32bit보다 75% 메모리를 절약하면서도 적절한 Precision를 제공
• 8bit는 대부분의 하드웨어에서 효율적으로 처리할 수 있는 크기

메모리 점유

• 일반 양자화: 32bit/64개 파라미터 = 0.5bit/파라미터 (0.01953125)
• DQ 적용 후: 8bit/256개 파라미터 = 0.03125bit/파라미터 (0.0195)
• 압축률: (0.5 - 0.03125) / 0.5 * 100 = 93.75%

first_quant_constant = 0.01953125
dq_constant = double_quantize(first_quant_constant)  # 0.0195

3. Paged Optimizers

긴 시퀀스(1024 토큰)를 처리하는 경우를 보면,

메모리 점유

• 일반적인 경우: 모든 활성화를 GPU 메모리에 저장 (e.g., 10GB)
• Paged Optimizers 사용: 필요한 부분만 GPU에 로드, 나머지는 CPU 메모리에 저장 (e.g., GPU 2GB + CPU 8GB)

Paged Attention 참고: paged attention minimal

optimizer = PagedAdamW(model.parameters(), lr=1e-5)
for batch in dataloader:
    loss = model(batch)
    loss.backward()
    optimizer.step()  # 자동으로 메모리 관리

4. 전체 QLoRA 시스템

65B 파라미터 모델 파인튜닝

메모리 점유

• 일반적인 16bit 파인튜닝: 780GB 이상
• QLoRA 사용: 48GB 미만

$Q_v$, $V_v$로의 적용은 LoRA 페이퍼의 실험에 따른 권고 사항

model = AutoModelForCausalLM.from_pretrained("llama-65b", quantization_config=NF4Config(), device_map="auto")
model = prepare_model_for_kbit_training(model)
model = get_peft_model(model, LoraConfig(r=64, lora_alpha=16, target_modules=["q_proj", "v_proj"]))

trainer = Trainer(
    model=model,
    train_dataset=dataset,
    args=TrainingArguments(output_dir="output", fp16=True),
    data_collator=DataCollatorForLanguageModeling(tokenizer, mlm=False),
)
trainer.train()

이전에는 고가의 서버급 GPU 여러 대가 필요했던 65B 파라미터 모델을 이제는 단일 보급형 GPU (e.g., NVIDIA RTX 4090)에서 파인튜닝할 수 있게 되었습니다.

QLoRA

# Quantization Config
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=False
)
# Model
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=quant_config,
    device_map={"": 0}
)
model.config.use_cache = False
model.config.pretraining_tp = 1

학습 예시

# Load the tokenizer
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1", use_fast=True, local_files_only=False, trust_remote_code=True)

# hyperparameters
lr = 2e-4
batch_size = 10
num_epochs = 2

# define training arguments
training_args = transformers.TrainingArguments(
    output_dir= "qlora-mistral",
    learning_rate=lr,
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    num_train_epochs=num_epochs,
    weight_decay=0.01,
    logging_strategy="epoch",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
    gradient_accumulation_steps=10,
    warmup_steps=2,
    fp16=True,
    optim="paged_adamw_8bit",
)

# configure trainer
trainer = transformers.Trainer(
    model=model,
    train_dataset=tokenized_data["train"],
    eval_dataset=tokenized_data["test"],
    args=training_args,
    data_collator=data_collator
)

# train model
model.config.use_cache = False
trainer.train()

# renable warnings
model.config.use_cache = True

본문

1. 서론

대규모 언어모델(Large Language Models, LLMs)의 파인튜닝은 모델 성능을 향상시키고 원하는 동작을 추가하거나 불필요한 동작을 제거하는 데 효과적인 방법입니다. 그러나 큰 모델을 파인튜닝하는 것은 엄청난 비용이 듭니다. 예를 들어, LLaMA 65B 파라미터 모델을 일반적인 16bit 파인튜닝으로 학습하려면 780GB 이상의 GPU 메모리가 필요합니다.

최근 양자화 기법들이 LLM의 메모리 사용량을 줄일 수 있지만, 이런 기법들은 인퍼런스 단계에서만 작동하고 학습 중에는 제대로 작동하지 않습니다. 본 논문에서는 성능 저하 없이 4-bits로 양자화된 모델을 파인튜닝할 수 있음을 최초로 입증합니다.

제안하는 QLoRA 방법은 다음과 같은 주요 특징을 가집니다.

1. 사전 학습된 모델을 4-bits로 양자화하는 새로운 고정밀 기법을 사용합니다.
2. 학습 가능한 소규모 Low-rank Adapter 가중치를 추가합니다.
3. 양자화된 가중치를 통해 역전파된 그래디언트로 이 어댑터를 튜닝합니다.

QLoRA를 사용하면 65B 파라미터 모델의 파인튜닝에 필요한 평균 메모리 요구사항을 780GB 이상에서 48GB 미만으로 줄일 수 있으며, 16bit 전체 파인튜닝 베이스 라인과 비교하여 실행 시간이나 예측 성능을 저하시키지 않습니다. 본 연구팀은 QLoRA를 사용하여 Guanaco 모델 패밀리를 학습하고, 두 번째로 성능이 좋은 모델은 Vicuna 벤치마크에서 ChatGPT 성능의 97.8%에 도달했으며, 단일 소비자용 GPU에서 12시간 미만의 학습을 수행했다고 합니다. 단일 전문가용 GPU를 24시간 동안 사용하여 가장 큰 모델은 99.3%의 성능을 달성하여 Vicuna 벤치마크에서 사실상 ChatGPT와의 격차를 약간이나마 해소했습니다.

배포 시, 가장 작은 Guanaco 모델(7B 파라미터)은 단 5GB의 메모리만 필요했으며, Vicuna 벤치마크에서 26GB Alpaca 모델보다 20% 이상 높은 성능을 보

QLoRA는 성능을 저하시키지 않으면서 메모리 사용량을 줄이기 위해 다음 트릭들을 적용합니다.

1. 4-bits NormalFloat: 정규 분포 데이터에 대해 정보 이론적으로 최적인 양자화 데이터 유형으로, 4-bits 정수와 4-bits 부동소수점보다 더 나은 경험적 결과를 제공합니다.
2. Double Quantization: 양자화 상수를 양자화하는 방법으로, 파라미터당 평균 약 0.37bit를 절약합니다(65B 모델의 경우 약 3GB).
3. Paged Optimizers: NVIDIA 통합 메모리를 사용하여 긴 시퀀스 길이를 가진 미니배치를 처리할 때 발생하는 그래디언트 체크포인팅 메모리 스파이크를 피합니다.

위와 같은 처리로 모든 네트워크 계층에 어댑터를 포함하는 더 잘 조정된 LoRA 접근 방식과 결합하여 이전 연구에서 볼 수 있었던 정확도 트레이드오프를 거의 모두 피할 수 있습니다.

QLoRA의 효율성 덕분에 메모리 오버헤드로 인해 일반적인 파인튜닝으로는 불가능한 모델 규모에서 명령어 파인튜닝과 챗봇 성능에 대한 심층 연구를 수행할 수 있었고, 80M에서 65B 파라미터 사이의 여러 명령어 튜닝 데이터셋, 모델 아키텍처 및 크기에 걸쳐 1,000개 이상의 모델을 학습시켰습니다.

QLoRA가 16bit 성능을 회복한다는 것을 보여주는 것(§4) 외에도 SOTA 챗봇인 Guanaco를 학습시키고(§5), 학습된 모델의 경향을 분석했으며, 주요 발견 사항은 다음과 같습니다.

1. 데이터셋 크기보다 데이터 품질이 훨씬 더 중요합니다. 예를 들어, 9k 샘플 데이터셋(OASST1)이 450k 샘플 데이터셋(FLAN v2, 서브샘플링됨)보다 챗봇 성능에서 더 우수한 성능을 보였습니다. 이는 두 데이터셋 모두 명령어 따르기 일반화를 지원하기 위한 것임에도 불구하고 나타난 결과입니다.
2. 강력한 Massive Multitask Language Understanding (MMLU) 벤치마크 성능이 반드시 강력한 Vicuna 챗봇 벤치마크 성능을 의미하지 않으며, 그 반대도 마찬가지입니다. 다시 말해, 주어진 작업에 대해서는 데이터셋의 크기보다 적합성이 더 중요합니다.

데이터 퀄리티에 대한 색인마킹

휴먼 평가자와 GPT-4를 모두 사용하여 챗봇 성능에 대한 광범위한 분석을 수행하고, 서로 경쟁하여 주어진 프롬프트에 대해 최상의 응답을 생성하는 토너먼트 스타일의 벤치마킹(챗봇 아레나)을 사용합니다. 경기의 승자는 GPT-4 또는 휴먼 주석자에 의해 판단됩니다. 토너먼트 결과는 챗봇 성능 순위를 결정하는 Elo 점수로 집계됩니다.

GPT-4와 휴먼 평가가 토너먼트에서 모델 성능 순위에 대체로 동의한다는 것을 발견했지만, 강한 불일치가 있는 경우도 있습니다. 따라서 모델 기반 평가가 휴먼 주석의 저렴한 대안을 제공하지만 불확실성도 있다는 점을 강조합니다.

Guanaco 모델에 대한 정성적 분석으로 챗봇 벤치마크 결과를 보완합니다. 분석은 정량적 벤치마크에서 포착되지 않은 성공 및 실패 사례를 강조합니다. 추가 연구를 용이하게 하기 위해 휴먼 및 GPT-4 주석과 함께 모든 모델 생성을 공개합니다.

코드베이스와 CUDA 커널을 오픈 소스로 공개하고 방법을 Hugging Face transformers 스택에 통합하여 모든 사람이 쉽게 접근할 수 있도록 합니다. 8개의 서로 다른 명령어 따르기 데이터셋에서 학습된 7/13/33/65B 크기 모델에 대한 어댑터 컬렉션을 공개하여 총 32개의 서로 다른 오픈 소스 파인튜닝 모델을 제공합니다.

2. 배경

2.1 블록 단위 k-bit 양자화

양자화는 더 많은 정보를 가진 표현에서 더 적은 정보를 가진 표현으로 입력을 이산화하는 과정입니다. 일반적으로 더 많은 bit를 가진 데이터 유형을 더 적은 bit를 가진 데이터 유형으로 변환하는 것을 의미합니다. 예를 들어, 32bit 부동소수점에서 8bit 정수로 변환하는 경우가 있습니다.

저bit 데이터 유형의 전체 범위를 사용하기 위해, 입력 데이터 유형은 일반적으로 입력 요소의 절대 최대값으로 정규화하여 대상 데이터 유형 범위로 재조정됩니다. 이 요소들은 보통 텐서로 구조화됩니다.

예를 들어, 32bit 부동소수점(FP32) 텐서를 범위 [-127, 127]의 Int8 텐서로 양자화하는 경우 다음과 같이 표현할 수 있습니다.

상기 식에서 $c$는 양자화 상수 또는 양자화 스케일입니다.

역양자화는 양자화의 역연산입니다.

이 접근 방식의 문제점은 입력 텐서에 큰 크기의 값(즉, 이상치)이 발생하면 양자화 빈(특정 bit 조합)이 제대로 활용되지 않아 일부 빈에는 거의 또는 전혀 양자화된 숫자가 없게 된다는 것입니다.

이상치 문제를 방지하기 위해 일반적인 접근 방식은 입력 텐서를 독립적으로 양자화되는 블록으로 나누는 것입니다. 각 블록은 자체 양자화 상수 $c$를 가지며, 다음과 같이 형식화할 수 있습니다.

입력 텐서 $X \in \mathbb{R}^{b \times h}$를 크기 $B$의 $n$개의 연속된 블록으로 나눕니다. 이는 입력 텐서를 평탄화하고 선형 세그먼트를 $n = (b \times h) / B$ 블록으로 슬라이싱하여 수행합니다. 이 블록들을 방정식 (1)을 사용하여 독립적으로 양자화하여 양자화된 텐서와 $n$개의 양자화 상수 $c_i$를 생성합니다.

[참고자료 2] QLoRA의 블록 크기 튜닝: 정확도와 효율성의 균형

(블록 크기가 중요한 이유) QLoRA에서 블록 크기는 양자화의 정확도와 메모리 효율성 사이의 균형을 결정짓는 중요한 요소로 이 균형을 어떻게 잡느냐에 따라 모델의 성능과 학습 효율이 크게 달라질 수 있게 됩니다.

작은 블록 크기 vs 큰 블록 크기?

QLoRA는 이런 트레이드오프를 고려하여 최적의 블록 크기를 선택합니다.

QLoRA의 블록 크기 조정(QLoRA Block Size Tuning) 전략

QLoRA는 다음 요소들을 고려하여 최적의 블록 크기를 결정합니다.

1. 하드웨어 메모리 제약: 사용 가능한 GPU 메모리에 맞춰 조정
2. 레이어의 양자화 오류 민감도: 중요한 레이어는 더 작은 블록 크기 사용
3. 모델 구조: 각 레이어의 특성에 맞는 블록 크기 선택
4. 전체적인 정확도 영향: 성능 저하를 최소화하는 블록 크기 선택

*출처: QLora Technical Report

실제 블록 크기 조정 예시

예를 들어, 65B 모델을 QLoRA로 학습시킨다고 가정할 경우, 다음과 같이 레이어별로 블록 사이즈를 선택해서 양자화(Quantization)하게 됩니다. 혹은 각 레이어별로 데이터 타입 변환에도 역양자화를 고려하여 더 세밀한 조정이 필요할 경우 압축률을 낮추게 됩니다.

• 입력 임베딩 레이어: 더 큰 블록 크기 (e.g., 256)
  • 이유: 상대적으로 양자화 오류에 덜 민감 (본 논문의 4bit)
• 트랜스포머 중간 레이어: 중간 크기의 블록 (e.g., 64)
  • 이유: 정확도와 메모리 사용의 균형 (본 논문의 8bit)
• 출력 레이어: 더 작은 블록 크기 (e.g., 32)
  • 이유: 최종 출력의 정확도가 중요하므로

상기 이미지는 LoRA 부분과 연결되어 있지만, Block Size Tuning에 대해 설명하기 위해 삽입

*출처: QLora Technical Report

2.2 Low-rank Adapters (LoRA)

Low-rank Adapter (LoRA) 파인튜닝은 전체 모델 파라미터를 업데이트하지 않고 고정된 상태로 유지하면서 작은 set의 훈련 가능한 파라미터(어댑터라고 함)를 사용하여 메모리 요구사항을 줄이는 방법입니다. 확률적 경사 하강법(stochastic gradient descent) 동안 그래디언트는 고정된 사전 학습된 모델 가중치를 통과하여 어댑터로 전달되며, 이 어댑터는 손실 함수를 최적화하도록 업데이트됩니다.

LoRA는 추가적인 인수분해된 투영을 통해 선형 투영을 확장합니다. $X \in \mathbb{R}^{b \times h}$, $W \in \mathbb{R}^{h \times o}$인 투영 $XW = Y$가 주어졌을 때, LoRA는 다음과 같이 계산합니다.

일반적인 SFT \(Y = XW + \delta W\)

LoRA 논문 \(Y = XW + AB\) (QLoRA에서는 저차원 행렬 $AB$에 업데이트 조절 상수 $s$를 더해서 표현함)

상기 식에서 $L_1 \in \mathbb{R}^{h \times r}$, $L_2 \in \mathbb{R}^{r \times o}$이고, $s$는 스칼라입니다.

이 방식은 원래의 가중치 행렬 $W$를 그대로 유지하면서, 작은 크기의 행렬 $L_1$과 $L_2$를 통해 추가적인 변형을 가능하게 합니다. 이를 통해 적은 수의 파라미터로도 모델의 동작을 효과적으로 조정할 수 있습니다.

2.3 파라미터 효율적 파인튜닝의 메모리 요구사항

LoRA의 메모리 요구사항에 대한 논의는 특히 학습 중 사용되는 어댑터의 수와 크기 측면에서 중요합니다. LoRA의 메모리 사용량이 적기 때문에, 성능을 향상시키기 위해 총 메모리 사용량을 크게 증가시키지 않고도 더 많은 어댑터를 사용할 수 있습니다.

LoRA는 파라미터 효율적 파인튜닝(PEFT) 방법으로 설계되었지만, LLM 파인튜닝에서 대부분의 메모리 사용량은 활성화 그래디언트에서 발생하며 학습된 LoRA 파라미터에서 발생하지 않습니다.

예를 들어, 배치 크기가 1인 FLAN v2에서 학습된 7B LLaMA 모델의 경우, 일반적으로 사용되는 원본 모델 가중치의 0.2%에 해당하는 LoRA 가중치를 사용할 때를 분석해보면 다음과 같습니다.

1. LoRA 입력 그래디언트의 메모리 사용량: 567 MB
2. LoRA 파라미터의 메모리 사용량: 26 MB
3. 그래디언트 체크포인팅 사용 시 입력 그래디언트: 평균 18 MB/시퀀스
4. 4-bits 기본 모델의 메모리 사용량: 5,048 MB

위 사례로 보면 그래디언트 체크포인팅이 중요하다는 것을 보여주며, 동시에 LoRA 파라미터의 양을 공격적으로 줄이는 것이 단지 사소한 메모리 이점만을 제공한다는 것을 강조합니다. 이는 전체 학습 메모리 사용량을 크게 증가시키지 않고도 더 많은 어댑터를 사용할 수 있다는 것을 의미합니다.

이런 메모리 효율성은 16bit Precision의 전체 성능을 회복하는 데 중요하며, Appendix G에서 자세한 내역을 확인할 수 있습니다.

QLoRA는 기존의 LoRA 접근 방식을 개선하고 네트워크의 모든 계층에 어댑터를 도입함으로써 이전 연구에서 볼 수 있었던 정확도 손실을 거의 완전히 제거합니다. 다음 섹션에서는 QLoRA의 구체적인 방법과 실험 결과에 대해 더 자세히 살펴보겠습니다.

3. QLoRA 파인튜닝 (핵심 섹션)

• 4-bits NormalFloat (NF4) 양자화 기법 소개
• Double Quantization을 통한 추가 메모리 절약 방법 제안
• Paged Optimizers를 활용한 메모리 스파이크 관리 기법 설명

QLoRA는 두 가지 방식을 통해 고정밀 4-bits 파인튜닝을 달성합니다. 4-bits NormalFloat (NF4) 양자화와 Double Quantization입니다. 또한, Paged Optimizers를 도입하여 그래디언트 체크포인팅 중 발생하는 메모리 스파이크로 인한 Out-of-memory 오류를 방지합니다.

3.1 4-bits NormalFloat 양자화

NormalFloat(NF) 데이터 타입은 Quantile Quantization을 기반으로 합니다. 이는 정보 이론적으로 최적인 데이터 타입으로, 입력 텐서의 값들을 각 양자화 빈에 균등하게 할당합니다.

NormalFloat의 핵심 아이디어는 사전 학습된 신경망 가중치가 일반적으로 표준편차 $\sigma$를 가진 0 중심 정규 분포를 따른다는 것입니다. 이를 이용해 모든 가중치를 단일 고정 분포로 변환할 수 있습니다.

NF4 데이터 타입의 양자화 과정은 다음과 같습니다.

1. $N(0,1)$ 분포의 $2^k + 1$ 분위수를 추정하여 k-bit 분위수 양자화 데이터 타입을 얻은 뒤,
2. 이 데이터 타입의 값들을 $[-1, 1]$ 범위로 정규화하고, (일반적인 Quantization 방법, 그러나 캘리브레이션 등이 필요해서 성능 저하 문제가 있음.)
3. 입력 가중치 텐서를 절대 최대값 재조정을 통해 $[-1, 1]$ 범위로 정규화합니다.

더 형식적으로, 데이터 타입의 $2^k$ 값 $q_i$를 다음과 같이 추정합니다.

상기 식에서 $Q_X(\cdot)$는 표준 정규 분포 $N(0,1)$의 분위수 함수입니다.

3.2 Double Quantization

Double Quantization (DQ)는 양자화 상수를 추가로 양자화하는 과정입니다. 이는 양자화 상수의 메모리 사용량을 줄이는 데 도움이 됩니다.

구체적으로, Double Quantization은 첫 번째 양자화의 양자화 상수 $c_{FP32}$를 두 번째 양자화의 입력으로 취급합니다. 이 두 번째 단계에서 양자화된 양자화 상수 $c_{FP8}^2$와 두 번째 수준의 양자화 상수 $c_{FP32}^1$를 얻습니다.

블록 크기가 64인 경우, 이 양자화는 파라미터당 평균 메모리 사용량을 32/64 = 0.5 bit에서 8/64 + 32/(64 · 256) = 0.127 bit로 줄입니다. 이는 파라미터당 0.373 bit의 감소를 의미합니다.

3.3 Paged Optimizers

Paged Optimizers는 NVIDIA 통합 메모리 기능을 사용하여 CPU와 GPU 간의 자동 페이지 대 페이지 전송을 수행합니다. 이는 GPU가 간헐적으로 메모리 부족 상태에 빠지는 시나리오에서 오류 없는 GPU 처리를 가능하게 합니다.

3.4 QLoRA 정의

위의 구성 요소들을 사용하여, 단일 LoRA 어댑터를 가진 양자화된 기본 모델의 단일 선형 계층에 대한 QLoRA를 다음과 같이 정의할 수 있습니다.

상기 식에서 doubleDequant(·)는 다음과 같이 정의됩니다.

$W$에 대해 NF4를, $c_2$에 대해 FP8을 사용합니다. 더 높은 양자화 Precision를 위해 $W$에 대해서는 블록 크기 64를, 메모리 절약을 위해 $c_2$에 대해서는 블록 크기 256을 사용합니다.

파라미터 업데이트를 위해서는 오직 어댑터 가중치에 대한 오차의 그래디언트 $\frac{\partial E}{\partial L_i}$만 필요하며, 4-bits 가중치에 대한 그래디언트 $\frac{\partial E}{\partial W}$는 필요하지 않습니다. 그러나 $\frac{\partial E}{\partial L_i}$의 계산에는 $\frac{\partial X}{\partial W}$의 계산이 포함되며, 이는 저장 데이터 타입 $W_{NF4}$에서 계산 데이터 타입 $W_{BF16}$로의 역양자화를 통해 BFloat16 Precision로 $\frac{\partial X}{\partial W}$ 도함수를 계산합니다.

요컨대, QLoRA는 하나의 저장 데이터 타입(일반적으로 4-bits NormalFloat)과 하나의 계산 데이터 타입(16bit BrainFloat)을 가지고, 순방향 및 역방향 패스를 수행하기 위해 저장 데이터 타입을 계산 데이터 타입으로 역양자화하지만, 오직 16bit BrainFloat를 사용하는 LoRA 파라미터에 대해서만 가중치 그래디언트를 계산합니다.

이런 QLoRA의 수학적 기반은 메모리 효율성과 계산 정확도 사이의 균형을 맞추는 데 중요한 역할을 하며, 특히 NormalFloat 양자화와 Double Quantization은 정규 분포를 따르는 신경망 가중치의 특성을 효과적으로 활용하여 정보 손실을 최소화하면서도 메모리 사용량을 크게 줄일 수 있게 합니다.

4. QLoRA vs. 표준 파인튜닝

이 섹션에서는 QLoRA가 전체 모델 파인튜닝만큼 잘 수행될 수 있는지, 그리고 NormalFloat4가 표준 Float4에 비해 어떤 이점이 있는지에 대해 분석합니다.

• QLoRA와 표준 파인튜닝의 성능 비교
• NormalFloat4의 효과성 분석
• 다양한 모델 크기와 데이터셋에서의 QLoRA 성능 평가

4.1 실험 설정

세 가지 아키텍처(인코더, 인코더-디코더, 디코더 전용)를 고려하여 QLoRA와 16bit 어댑터 파인튜닝, 그리고 3B 파라미터까지의 모델에 대한 전체 파인튜닝을 비교했습니다. 평가에 사용된 데이터셋과 모델은 다음과 같습니다.

1. GLUE 벤치마크: RoBERTa-large 모델 사용
2. Super-Natural Instructions (TKInstruct): T5 모델 사용
3. 5-shot MMLU: LLaMA 모델을 Flan v2와 Alpaca 데이터셋으로 파인튜닝 후 평가

또한, NF4(NormalFloat4)와 다른 4bit 데이터 타입의 장점을 연구하기 위해 Dettmers와 Zettlemoyer의 설정을 사용하여 다양한 모델(OPT, LLaMA, BLOOM, Pythia)에 대해 125M에서 13B 크기의 모델에 대한 양자화 후 0-shot 정확도와 퍼플렉시티를 측정했습니다.

4.2 LoRA 하이퍼파라미터 최적화

표준 LoRA 하이퍼파라미터로는 16bit 성능에 미치지 못한다는 것을 발견했습니다. LLaMA 7B 모델을 Alpaca 데이터셋으로 파인튜닝한 결과, 가장 중요한 LoRA 하이퍼파라미터는 사용된 총 LoRA 어댑터의 수이며, 모든 선형 트랜스포머 블록 레이어에 LoRA를 적용해야 전체 파인튜닝 성능과 일치한다는 것을 발견했습니다.

더불어, 전체 파인튜닝 베이스 라인의 기본 하이퍼파라미터도 최적화가 부족하다는 것을 발견했습니다. 학습률 1e-6에서 5e-5, 배치 크기 8에서 128까지의 하이퍼파라미터 검색을 통해 강력한 베이스 라인을 구축했습니다.

4.3 4bit NormalFloat의 우수성

NormalFloat(NF4) 데이터 타입은 정보 이론적으로 최적이지만, 이 속성이 실증적 이점으로 이어지는지 확인이 필요했습니다. 다양한 크기(125M에서 65B)의 양자화된 LLM(OPT, BLOOM, Pythia, LLaMA)을 다른 데이터 타입으로 평가했습니다.

결과적으로 NF4가 FP4와 Int4에 비해 성능을 크게 향상시키며, 이중 양자화(Double Quantization, DQ)는 성능 저하 없이 메모리 사용량을 줄일 수 있다는 것을 확인했습니다.

4.4 k-bit QLoRA의 성능

QLoRA가 16bit 전체 파인튜닝 및 16bit LoRA 성능과 일치하는지 확인하기 위해 두 가지 설정에서 실험을 진행했습니다.

1. RoBERTA와 T5 모델(125M에서 3B 파라미터)을 GLUE와 Super-Natural Instructions 데이터셋에서 16bit 전체 파인튜닝과 비교
2. LLaMA 7B에서 65B 모델을 Alpaca와 FLAN v2 데이터셋으로 파인튜닝하고 MMLU 벤치마크에서 5-shot 정확도로 평가

실험 결과, 16bit, 8bit, 4bit 어댑터 방법 모두 16bit 전체 파인튜닝 베이스 라인의 성능을 복제할 수 있었습니다. 이는 부정확한 양자화로 인해 손실된 성능이 양자화 후 어댑터 파인튜닝을 통해 완전히 복구될 수 있음을 시사합니다. 더불어, NF4와 이중 양자화를 사용한 QLoRA가 16bit LoRA의 MMLU 성능을 완전히 복구할 수 있음을 확인했습니다. 반면, FP4를 사용한 QLoRA는 16bit BrainFloat LoRA 베이스 라인에 비해 약 1%p 뒤처졌습니다.

4.5 소결

결과는 일관되게 NF4 데이터 타입을 사용한 4bit QLoRA가 학술 벤치마크에서 16bit 전체 파인튜닝 및 16bit LoRA 파인튜닝 성능과 일치함을 보여줍니다. 또한, NF4가 FP4보다 더 효과적이며 이중 양자화가 성능을 저하시키지 않는다는 것을 입증했습니다. 본 연구의 결과는 주어진 파인튜닝 및 인퍼런스 리소스 예산에서 기본 모델의 파라미터 수를 늘리고 Precision를 낮추는 것이 유리하다는 것을 시사합니다. 4bit 파인튜닝에서 전체 파인튜닝에 비해 성능 저하를 관찰하지 못했기 때문에, QLoRA 튜닝에 대한 성능-Precision 트레이드오프가 정확히 어디에 있는지에 대한 추가 연구가 필요하다고 제안합니다.

5. QLoRA를 이용한 최신 챗봇 기술 발전

이 섹션에서는 4bit QLoRA가 16bit 성능과 일치한다는 것을 확인한 후, 연구용으로 사용 가능한 가장 큰 오픈소스 언어 모델까지 명령어 파인튜닝(instruction finetuning)에 대한 심층 연구를 수행합니다. 이런 모델들의 명령어 파인튜닝 성능을 평가하기 위해 도전적인 자연어 이해 벤치마크(MMLU)와 실제 챗봇 성능 평가를 위한 새로운 방법을 개발했습니다.

• QLoRA를 통한 LLM 파인튜닝의 효과성 검증
• 다양한 데이터셋과 모델 크기에 대한 성능 평가
• Guanaco: OASST1 데이터로 학습한 최신 챗봇 모델

5.1 실험 설정

데이터

8개의 최신 명령어 따르기(instruction-following) 데이터셋을 선택했습니다. 이 데이터셋들은 크라우드소싱(OASST1, HH-RLHF), 명령어 조정 모델로부터의 증류(Alpaca, self-instruct, unnatural instructions), 코퍼스 집계(FLAN v2), 그리고 하이브리드 방식(Chip2, Longform)으로 얻어진 것들입니다. 이 데이터셋들은 다양한 언어, 데이터 크기, 라이선스를 포함합니다.

훈련 설정

다른 훈련 목표로 인한 혼동 효과를 피하기 위해, 강화학습 없이 교차 엔트로피 손실(cross-entropy loss)을 사용한 지도학습으로 QLoRA 파인튜닝을 수행했습니다. 명령어와 응답이 명확히 구분되는 데이터셋의 경우, 응답에 대해서만 파인튜닝을 수행했습니다. OASST1과 HH-RLHF의 경우, 대화 트리의 각 레벨에서 최상위 응답을 선택하고 선택된 전체 대화에 대해 파인튜닝을 수행했습니다.

모든 실험에서 NF4 QLoRA와 double quantization, 그리고 paged optimizers를 사용하여 그래디언트 체크포인팅 중 메모리 스파이크를 방지했습니다. 13B와 33B LLaMA 모델에 대해 작은 규모의 하이퍼파라미터 탐색을 수행했고, 7B에서 찾은 모든 하이퍼파라미터 설정(epoch 수 포함)이 일반화됨을 발견했습니다. 단, 학습률과 배치 크기는 예외였습니다. 33B와 65B 모델에 대해서는 학습률을 절반으로 줄이고 배치 크기를 두 배로 늘렸습니다.

베이스라인

연구 모델(Vicuna와 OpenAssistant)과 상용 모델(GPT-4, GPT-3.5-turbo, Bard)을 비교 대상으로 삼았습니다. OpenAssistant 모델은 LLaMA 33B 모델을 OASST1 데이터셋에 대해 휴먼 피드백 강화학습(RLHF)으로 파인튜닝한 것입니다. Vicuna는 LLaMA 13B를 ShareGPT의 사용자 공유 대화에 대해 전체 파인튜닝한 것으로, OpenAI GPT 모델로부터의 증류 결과입니다.

5.2 평가

MMLU(Massive Multitask Language Understanding) 벤치마크를 사용하여 다양한 언어 이해 작업에 대한 성능을 측정했습니다. 이는 초등 수학, 미국 역사, 컴퓨터 과학, 법률 등 57개 작업을 포함하는 객관식 벤치마크입니다. 5-shot 테스트 정확도를 보고했습니다.

또한 자동화된 평가와 휴먼 평가를 통해 생성적 언어 능력을 테스트했습니다. 이 두 번째 평가 세트는 휴먼이 선별한 쿼리에 의존하며 모델 응답의 품질을 측정하는 것을 목표로 합니다. 이는 챗봇 모델 성능에 대한 더 현실적인 테스트 베드이며 인기를 얻고 있지만, 문헌에서 일반적으로 받아들여지는 프로토콜은 없습니다. 모든 경우에 핵 샘플링(nucleus sampling)을 p=0.9, 온도 0.7로 설정하여 사용했습니다.

벤치마크 데이터

(1) Vicuna 프롬프트와 (2) OASST1 검증 데이터셋, 두 개의 선별된 쿼리 데이터셋(질문)에 대해 평가를 수행했습니다.

(1) Vicuna 프롬프트는 다양한 카테고리에서 80개의 프롬프트를 수정 없이 사용했습니다.

(2) OASST1 데이터셋은 다국어로 크라우드소싱된 다중 턴 대화 컬렉션으로 검증 데이터셋의 모든 사용자 메시지를 쿼리로 선택하고 이전 턴을 프롬프트에 포함시켰습니다. 이 과정을 통해 953개의 고유한 사용자 쿼리를 얻었습니다.

본 논문에서 이 두 데이터셋을 Vicuna와 OA 벤치마크로 칭합니다.

자동화된 평가

먼저, Chiang et al.이 도입한 평가 프로토콜을 기반으로 GPT-4를 사용하여 Vicuna 벤치마크에서 ChatGPT(GPT-3.5 Turbo)에 대한 다양한 시스템의 성능을 평가했습니다. 쿼리와 함께 ChatGPT와 모델의 응답이 주어지면, GPT-4는 두 응답에 대해 10점 만점으로 점수를 할당하고 설명을 제공하도록 프롬프트됩니다. 모델의 전체 성능은 ChatGPT가 달성한 점수의 백분율로 계산됩니다. 이 상대 점수는 모델이 ChatGPT보다 높은 절대 점수를 얻으면 100%를 초과할 수 있습니다. GPT-4가 프롬프트에서 먼저 나타나는 응답의 점수를 높이는 순서 효과가 상당히 있음을 발견했습니다. 이런 효과를 제어하기 위해 두 순서에 대한 평균 점수를 보고하는 것을 권장합니다.

다음으로, 시스템 출력 간의 직접 비교를 통해 성능을 측정했습니다. 평가 체계를 동점을 고려한 3클래스 레이블링 문제로 단순화했습니다. GPT-4에게 최상의 응답을 선택하거나 동점을 선언하고 설명을 제공하도록 프롬프트했습니다. Vicuna와 OA 벤치마크에서 모든 시스템 쌍의 순열에 대해 일대일 비교를 수행했습니다.

휴먼 평가

최근 연구에 따르면 생성 모델이 시스템 평가에 효과적으로 사용될 수 있음을 시사하지만, GPT-4 평가가 챗봇 성능을 평가하는 데 있어 휴먼의 판단과 상관관계가 있는지는 아직 증명되지 않았습니다. 따라서 위에서 설명한 두 가지 자동화된 평가 프로토콜과 일치하는 두 가지 병렬 휴먼 평가를 Vicuna 벤치마크에서 실행했습니다. Amazon Mechanical Turk(AMT)를 사용하여 ChatGPT와의 비교에 대해 두 명의 휴먼 주석자를, 쌍별 비교에 대해 세 명의 주석자를 확보했습니다.

Elo 레이팅

휴먼과 자동화된 쌍별 비교를 통해 모델들이 서로 경쟁하는 토너먼트 스타일의 경쟁을 만들었습니다. 토너먼트는 주어진 프롬프트에 대해 가장 좋은 응답을 생성하기 위해 모델 쌍이 경쟁하는 매치로 구성됩니다. 이는 Bai et al.과 Chiang et al.이 모델을 비교한 방식과 유사하지만, 휴먼 평가 외에도 GPT-4 평가를 사용합니다. 레이블이 지정된 비교 세트에서 무작위로 샘플링하여 Elo를 계산합니다.

Elo 레이팅은 체스와 다른 게임에서 널리 사용되며, 상대방의 승률에 대한 예상 승률을 측정합니다. 예를 들어, Elo 1100 대 1000은 Elo 1100 플레이어가 Elo 1000 상대방에 대해 약 65%의 예상 승률을 가진다는 것을 의미합니다. 1000 대 1000 또는 1100 대 1100 매치는 50%의 예상 승률을 가집니다. Elo 레이팅은 각 매치 후에 예상 결과에 비례하여 변경됩니다. 즉, 예상치 못한 결과는 Elo 레이팅의 큰 변화를 초래하고 예상된 결과는 작은 변화를 초래합니다. 시간이 지남에 따라 Elo 레이팅은 각 플레이어의 게임 플레이 능력과 대략적으로 일치합니다.

1,000점으로 시작하고 K = 32를 사용합니다. Chiang et al.과 유사하게, 순서 효과(e.g., 어떤 모델 쌍이 먼저 경쟁하는지의 효과)를 제어하기 위해 다른 랜덤 시드로 이 절차를 10,000번 반복합니다.

5.3 Guanaco: OASST1에서 훈련된 QLoRA는 최신 챗봇

자동화된 평가와 휴먼 평가를 기반으로, OASST1의 변형에 대해 파인튜닝한 최고의 QLoRA 튜닝 모델인 Guanaco 65B가 가장 성능이 좋은 오픈소스 챗봇 모델이며 ChatGPT와 경쟁력 있는 성능을 제공한다는 것을 발견했습니다. GPT-4와 비교했을 때, Guanaco 65B와 33B는 휴먼 주석자의 시스템 수준 쌍별 비교에 기반한 Elo 레이팅에 따라 30%의 예상 승률을 가지며, 이는 지금까지 보고된 가장 높은 수치입니다.

Vicuna 벤치마크 결과는 표 6에 나와 있습니다. Guanaco 65B가 GPT-4 다음으로 가장 성능이 좋은 모델로, ChatGPT 대비 99.3%의 성능을 달성했습니다. Guanaco 33B는 Vicuna 13B 모델보다 더 많은 파라미터를 가지지만 가중치에 대해 4bit Precision만 사용하므로 21GB 대 26GB로 훨씬 더 메모리 효율적이며, Vicuna 13B보다 3 퍼센트 포인트의 개선을 제공합니다. 더욱이, Guanaco 7B는 5GB 메모리 공간으로 현대의 휴대폰에 쉽게 맞으면서도 Alpaca 13B보다 거의 20 퍼센트 포인트 더 높은 점수를 기록합니다.

절대적인 척도를 기반으로 하는 문제를 피하기 위해 휴먼 주석자와 GPT-4의 쌍별 판단을 기반으로 하는 Elo 랭킹 방법을 사용할 것을 권장합니다.

가장 경쟁력 있는 모델들의 Elo 평가는 표 1에서 확인할 수 있습니다. Vicuna 벤치마크에서 휴먼과 GPT-4의 모델 랭킹이 부분적으로 불일치하며, 특히 Guanaco 7B에 대해 차이가 있음을 발견했습니다. 그러나 대부분의 모델에 대해서는 일관성이 있었으며, 시스템 수준에서 Kendall Tau τ = 0.43, Spearman 순위 상관관계 r = 0.55를 보였습니다. 예시 수준에서는 GPT-4와 휴먼 주석자의 다수결 투표 간 일치도가 Fleiss κ = 0.25로 더 약했습니다.

전반적으로 이는 GPT-4와 휴먼 주석자의 시스템 수준 판단 사이에 중간 정도의 일치를 보여주며, 따라서 모델 기반 평가가 휴먼 평가의 어느 정도 신뢰할 만한 대안이 될 수 있음을 시사합니다. 6.2절에서 이에 대한 추가적인 고려사항을 논의합니다.

표 7의 Elo 랭킹은 Guanaco 33B와 65B 모델이 Vicuna와 OA 벤치마크에서 GPT-4를 제외한 모든 모델을 능가하며, 표 6과 일치하게 ChatGPT와 비슷한 성능을 보인다는 것을 나타냅니다. Vicuna 벤치마크가 오픈소스 모델에 유리한 반면, 더 큰 OA 벤치마크는 ChatGPT에 유리하다는 점에 주목합니다.

또한 표 5와 6에서 볼 수 있듯이, 파인튜닝 데이터셋의 적합성이 성능을 결정짓는 요인임을 알 수 있습니다. LLaMA 모델을 FLAN v2로 파인튜닝하면 MMLU에서 특히 좋은 성능을 보이지만, Vicuna 벤치마크에서는 성능이 떨어집니다(다른 모델에서도 유사한 경향이 관찰됨). 이는 현재 평가 벤치마크에서 부분적인 직교성을 가리킵니다. 즉, 강력한 MMLU 성능이 반드시 강력한 챗봇 성능(Vicuna나 OA 벤치마크로 측정)을 의미하지 않으며, 그 반대도 마찬가지입니다.

Guanaco는 연구진의 평가에서 독점 데이터로 학습되지 않은 유일한 최상위 모델입니다. OASST1 데이터셋 수집 지침에서 GPT 모델의 사용을 명시적으로 금지하고 있기 때문입니다. 오픈소스 데이터로만 학습된 다음으로 좋은 모델은 Anthropic HH-RLHF 모델로, Vicuna 벤치마크에서 Guanaco보다 30 퍼센트 포인트 낮은 점수를 기록했습니다(표 6 참조).

종합적으로, 이런 결과는 4bit QLoRA가 효과적이며 ChatGPT와 견줄 수 있는 최신 챗봇을 생성할 수 있음을 보여줍니다. 더욱이, 연구진의 33B Guanaco는 24GB 소비자용 GPU에서 12시간 미만으로 학습될 수 있습니다. 이는 특화된 오픈소스 데이터에 대한 QLoRA 튜닝을 통해 오늘날 존재하는 최고의 상용 모델들과 경쟁할 수 있는 모델을 생성할 수 있는 잠재력을 열어줍니다.

이런 결과는 QLoRA의 효과성을 입증하며, 다음과 같은 중요한 시사점을 제공합니다.

1. 4bit 양자화를 사용함으로써, Guanaco 모델은 더 적은 메모리로 더 큰 모델을 학습하고 배포할 수 있습니다. 이는 제한된 하드웨어 리소스로도 고성능 모델을 개발할 수 있음을 의미합니다.
2. Guanaco가 독점 데이터 없이 최고의 성능을 달성했다는 점은 오픈소스 데이터와 모델의 잠재력을 보여줍니다.
3. 연구진이 제안한 Elo 랭킹 방법은 모델 성능을 더 신뢰성 있게 비교할 수 있는 방법을 제공합니다. 이는 향후 AI 모델 평가 방식에 영향을 미칠 수 있습니다.
4. 다양한 데이터셋으로 파인튜닝한 결과가 서로 다른 벤치마크에서 상이한 성능을 보인다는 점은, 목표 작업에 맞는 적절한 파인튜닝 전략의 중요성을 강조합니다.
5. 33B Guanaco 모델이 소비자용 GPU에서 12시간 미만으로 학습될 수 있다는 점은, AI 모델 개발의 속도와 접근성이 크게 향상될 수 있음을 시사합니다.

6. 정성적 분석 (핵심 섹션)

이 섹션에서는 연구진이 수행한 정성적 분석에 대해 설명합니다. 정량적 분석이 평가의 핵심이지만, 요약 통계만으로는 파악하기 어려운 여러 문제들이 있습니다. 특히 벤치마크 유효성 문제가 중요한데, 이는 벤치마크가 실제로 의도한 바를 테스트하는지에 대한 의문입니다.

이런 문제를 부분적으로 해결하기 위해 두 가지 방향으로 정성적 분석을 수행했습니다.

1. 65B Guanaco 모델이 생성한 텍스트에서 관찰된 패턴의 대표적인 예시 제시
2. 앞서 논의한 결과와 그 해석에 대한 고려사항 상세 설명

6.1 예시 생성의 정성적 분석

Vicuna 벤치마크와 OpenAssistant 벤치마크에서 생성된 데이터를 검토하여 Guanaco가 생성한 답변의 패턴을 찾았습니다. 패턴을 발견하면 그 패턴을 유도하는 질문이나 프롬프트를 설정하려 시도했습니다. 이를 통해 모델을 “adversarially” 깨뜨리는 “레몬” 사례와 깨뜨리지 못하는 “체리” 사례를 찾아 둘 다 제시했습니다.

이 분석에서 다음과 같은 측면들을 살펴보았습니다.

1. 사실 회상 (Factual Recall): 간단한 질문에는 정확히 답하지만, 모호한 질문에는 부정확하면서도 자신감 있는 답변을 제공
2. 암시 가능성 (Suggestibility): 일부 가정된 오정보에 대해 놀라운 저항력을 보이며, 답변할 수 없는 질문의 종류를 잘 인식
3. 거부 (Refusal): 때때로 명백한 이유 없이 지시를 따르기를 거부
4. 비밀 유지 (Secret Keeping): 비밀 정보를 유지하려는 시도가 있지만, 간단한 속임수에 쉽게 무너짐.
5. 수학 (Math): 수학은 Guanaco의 가장 큰 약점으로, 작업을 단계별로 나누지 않으면 간단한 문제에서도 실패할 수 있음.
6. 마음 이론 (Theory of Mind): 놀랍도록 강한 마음 이론 능력을 보이지만, 이런 인퍼런스은 신뢰할 수 어려울 수 있고 상황에 맞지 않는 가정을 할 수 있음.

6.2 고려사항

평가, 데이터, 훈련과 관련된 여러 고려사항을 제시합니다.

1. 평가: 휴먼 평가자들 사이의 중간 정도의 일치도를 보고하며, 주관적 선호도가 중요한 역할을 하기 시작합니다. 자동화된 평가 시스템에도 주목할 만한 편향이 있음을 발견했습니다.
2. 데이터 및 훈련: OASST1 데이터셋의 다국어 특성이 영어 이외의 언어에 대한 성능에 미치는 영향을 향후 연구에서 조사할 필요가 있습니다. 또한, Guanaco 모델이 강화학습 없이 단순 교차 엔트로피 손실만으로 훈련되었다는 점에 주목하며, 이는 단순 교차 엔트로피 손실과 RLHF 훈련의 트레이드오프에 대한 추가 조사가 필요함을 시사합니다.

7. 관련 연구

이 섹션에서는 QLoRA와 관련된 세 가지 주요 연구 분야를 살펴봅니다.

7.1 대규모 언어모델의 양자화

대규모 언어모델(LLM)의 양자화는 주로 인퍼런스 시간을 위한 양자화에 초점을 맞추어 왔습니다. 주요 접근 방식은 다음과 같습니다.

1. 이상치 특성 관리: SmoothQuant, LLM.int8() 등
2. 정교한 그룹화 방법
3. 손실 양자화 접근 방식: 일반 반올림 또는 양자화 Precision 향상을 위한 반올림 결정 최적화

QLoRA 외에도, SwitchBack 레이어는 1B 이상의 파라미터에서 양자화된 가중치를 통한 역전파를 연구한 유일한 작업입니다.

7.2 어댑터를 이용한 파인튜닝

Low-rank Adapters (LoRA)를 사용했지만, 다양한 파라미터 효율적 파인튜닝(PEFT) 방법이 제안되었습니다.

• 프롬프트 튜닝
• 임베딩 레이어 입력 튜닝
• hidden state 튜닝 (IA3)
• 전체 레이어 추가
• 편향 튜닝
• Fisher 정보에 기반한 가중치 마스크 학습
• 여러 접근 방식의 조합

LoRA 어댑터가 16bit 전체 파인튜닝 성능에 도달할 수 있음을 보여주었습니다. 다른 PEFT 접근 방식의 트레이드오프 탐색은 향후 연구 과제로 남겨두었습니다.

7.3 명령어 파인튜닝

프롬프트에 제공된 지시를 따르도록 사전 훈련된 LLM을 돕기 위해, 명령어 파인튜닝은 다양한 데이터 소스의 입력-출력 쌍을 사용합니다. 주요 접근 방식과 데이터셋은 다음과 같습니다.

• MetaICL, MetaTuning, InstructGPT, FLAN, PromptSource
• Super-Natural Instructions, Self-instruct, Unnatural Instructions
• OPT-IML, UnifiedSKG, OIG/Chip2, Alpaca, Vicuna, Koala, Self-instruct-GPT-4

7.4 챗봇

많은 명령어 따르기 모델은 대화 기반 챗봇으로 구조화되어 있으며, 주로 휴먼 피드백 강화학습(RLHF) 또는 AI 모델 피드백을 통한 강화학습(RLAIF)을 사용합니다. 주요 접근 방식과 데이터셋은 다음과 같습니다.

• Anthropic HH, OpenAssistant, LaMDA, Sparrow

강화학습을 사용하지 않았지만, 상위 모델인 Guanaco는 RLHF 훈련용으로 설계된 Open Assistant 데이터셋의 다중 턴 채팅 상호작용에 대해 파인튜닝되었습니다.

8. 한계점 및 논의

QLoRA 방법의 성능과 잠재력에 대해 긍정적인 결과를 얻었지만, 몇 가지 중요한 한계점과 고려사항을 제시합니다.

1. 대규모 모델에서의 성능 검증
   • 4bit 기본 모델과 LoRA를 사용한 QLoRA가 16bit 전체 파인튜닝 성능을 복제할 수 있음을 보여줬지만, 33B와 65B 규모에서 이를 완전히 입증하지는 못했습니다.
   • 막대한 자원 비용으로 인해 이 연구는 향후 과제로 남겨둡니다.
2. 평가의 한계
   • MMLU, Vicuna, OA 벤치마크에서 평가를 수행했지만, BigBench, RAFT, HELM 등 다른 벤치마크에서는 평가하지 않았습니다.
   • 현재의 평가가 이런 벤치마크로 일반화될 수 있는지 확실하지 않습니다.
3. 벤치마크와 파인튜닝 데이터의 유사성
   • 벤치마크 성능이 파인튜닝 데이터와 벤치마크 데이터셋의 유사성에 크게 의존한다는 점을 발견했습니다.
   • 이는 더 나은 벤치마크와 평가 방법의 필요성을 강조합니다.
4. 평가 목표의 명확성
   • 평가하고자 하는 것이 무엇인지 신중히 고려해야 합니다. 예를 들어, 고등학교와 대학 수준의 지식을 잘 수행하는 모델을 만들고 싶은지, 챗봇 대화 능력을 잘 수행하는 모델을 만들고 싶은지, 아니면 다른 무언가를 원하는지 명확히 해야 합니다.
5. 책임 있는 AI 평가의 한계
   • Guanaco에 대한 책임 있는 AI 평가가 제한적으로 수행되었습니다.
   • 사회적으로 편향된 토큰 시퀀스 생성 가능성을 평가했지만, 다른 유형의 편향에 대한 평가는 추가로 필요합니다.
6. 다양한 bit Precision와 어댑터 방법의 미평가
   • 3bit 기본 모델이나 다른 어댑터 방법 등 다양한 bit Precision를 평가하지 않았습니다.
   • LoRA 외에도 다양한 PEFT 방법이 있지만, 이들이 대규모 모델에서도 잘 작동하는지는 불분명합니다.
7. 더 적극적인 양자화 가능성
   • 양자화 후 파인튜닝이 양자화 중 손실된 정보의 대부분을 복구하는 것으로 보이므로, 더 적극적인 양자화가 가능할 수 있습니다.
   • 예를 들어, 3bit GPTQ 양자화와 LoRA를 결합하여 16bit 전체 파인튜닝 성능을 달성할 수 있을지 모릅니다.

9. Broader Impacts

QLoRA 파인튜닝 방법은 다음과 같은 광범위한 영향을 미칠 것으로 예상됩니다.

1. 접근성 향상
   • 33B 파라미터 모델을 단일 소비자 GPU에서, 65B 파라미터 모델을 단일 전문가용 GPU에서 파인튜닝할 수 있게 합니다.
   • 이는 적은 자원을 가진 연구자들에게 특히 큰 이점을 제공합니다.
2. 기술 격차 해소
   • 대기업과 소규모 팀 간의 자원 격차를 줄이는 평등화 요소로 작용할 수 있습니다.
3. 모바일 기기로의 확장
   • 휴대폰과 같은 저자원 환경에서 LLM의 파인튜닝을 가능하게 할 수 있습니다.
   • 예를 들어, iPhone 12 Plus에서 하룻밤 동안 300만 토큰을 파인튜닝할 수 있을 것으로 추정됩니다.
4. 프라이버시 보존 LLM 사용
   • 사용자가 자신의 데이터와 모델을 소유하고 관리할 수 있게 합니다.
   • LLM의 배포를 더 쉽게 만듭니다.
5. 잠재적 위험성
   • 파인튜닝은 양날의 검으로, 악용될 수 있는 위험이 있습니다.
   • LLM의 광범위한 사용에는 알려진 위험이 있지만, 기술에 대한 접근성을 평등화함으로써 더 나은 독립적 분석이 가능해질 것으로 기대합니다.