LFM | Meta - LLaMA 3

• Related Project: Private
• Category: Paper Review
• Date: 2024-07-23

The Llama-3 Herd of Models

• website: https://llama.meta.com/
• url: https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
• pdf: link
• abstract: Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama-3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirical evaluation of Llama-3. We find that Llama-3 delivers comparable quality to leading language models such as GPT-4 on a plethora of tasks. We publicly release Llama-3, including pre-trained and post-trained versions of the 405B parameter language model and our Llama Guard 3 model for input and output safety. The paper also presents the results of experiments in which we integrate image, video, and speech capabilities into Llama-3 via a compositional approach. We observe this approach performs competitively with the state-of-the-art on image, video, and speech recognition tasks. The resulting models are not yet being broadly released as they are still under development.

Contents

• The Llama-3 Herd of Models
  • TL;DR
    • LLaMA-3
    • Overview

TL;DR

• Llama-3는 최신 오픈 소스 대규모 언어모델로, 8B 및 70B 파라미터 모델을 특징으로 하고 멀티모달(텍스트, 이미지, 소리)의 광범위한 사용 사례를 지원합니다. (Text Generation, Vision, STT&TTS)
• 큰 아키텍처 변화는 없으며, 데이터 포맷 및 어닐링, 데이터의 질 향상을 위한 실험 등이 포함되어 있습니다.
• 모델은 향상된 리즈닝과 코딩, instruction following 등의 기능을 갖추고 있으며, 다양한 벤치마크에서 좋은 성능을 보입니다.
• 전반적으로 Scaling Law를 정립하고, 데이터 혼합 및 다양한 실험(어닐링 등)과 실험으로 405B 모델 학습을 위한 기반을 마련하고, 405B 모델(비공개) 및 멀티모달로의 연구에 대한 진행사항을 대략적으로 알 수 있었습니다.
• 아키텍처의 큰 변화는 없으며, Llama-2가 helpfulness와 safety의 균형을 위한 다양하고 정성적인 평가를 진행하였다면, Llama-3는 (1) 모델 아키텍처, (2) Pre-training 데이터, (3) Pre-training의 확장, (4) Instruction-tuning 등의 네 가지 주요 요소에 중점을 두었습니다.
• 데이터셋의 포매팅 및 다양한 실험을 진행하고, 실질적으로 모델은 SFT와 DPO를 통해 여러차례에 거쳐 학습합니다.

LLaMA-3

Llama-3 모델은 표준 밀집 트랜스포머 아키텍처를 사용하며, Llama 및 Llama 2 모델과 구조적으로 큰 차이는 없지만 데이터의 질, 다양성 개선과 훈련 규모 확대를 통해 성능이 향상되었고, 다음과 같이 약간 수정했다고 합니다.

• 그룹화된 쿼리 어텐션(Grouped Query Attention, GQA): 8개의 키-값 헤드를 사용하여 인퍼런스 속도를 향상시키고, 디코딩 중 키-값 캐시의 크기를 줄입니다.
• 어텐션 마스크: 서로 다른 문서 간의 셀프 어텐션(self-attention)를 방지하였는데, 이 변경으로 표준 Pre-training에서는 약간의 성능 저하가 있었지만, 긴 시퀀스에서의 지속적인 Pre-training에서 더 중요하다고 판단했으므로 손해를 감수하고 반영했다고 합니다.
• 하이퍼파라미터 개요
  • Model sizes: 8B, 70B, 405B 언어 모델에 대한 설정이 표 3에 나열됩니다. (405B를 위한 스케일링 법칙 실험 등이 수행되었음)
  • Tokenizer: 128K 토큰을 사용하며, 이는 기존의 tiktoken3 토크나이저에서 100K 토큰에 추가적으로 28K 토큰을 결합합니다. 이는 영어 데이터에서의 압축률을 개선하고, 비영어 언어 지원을 강화합니다. (이제 Llama-3도 tiktoken 토크나이저를 사용하네요. 2024년 7월 기준 GPT-4o에 사용되는 토크나이저까지 공유되어있습니다.)
• RoPE
  • 500,000으로 증가시켜 더 긴 컨텍스트를 지원하도록 조정되었습니다. (여전히 Positional Embedding 방식은 ALiBi가 아닌 RoPE를 사용합니다.)

Llama-3 70B 모델까지는 공개되었으며, 126개의 레이어, 16,384의 Dimension, 128개의 어텐션 헤드를 사용하는 Llama-3 405B는 공개되지 않았습니다.

2024년 07월 405B 모델 공개됨. meta-llama/Meta-Llama-3.1-405B

Overview

Figure 1 Illustration of the overall architecture and training of Llama-3. Llama-3 is a Transformer language model trained to predict the next token of a textual sequence. See text for details.

[모델 아키텍처 및 Pre-training 데이터]

대규모 다국어 텍스트 코퍼스를 이산 토큰으로 변환하여, 다음 토큰 예측을 수행하는 Meta AI의 LLM 모델인 Llama-3는 표준 디코더 전용 트랜스포머 아키텍처를 사용하여, Llama-2 대비 여러가지 개선 사항을 도입하였습니다. 이 모델은 128K 토큰의 어휘를 사용하여 언어를 더 효율적으로 인코딩하고, 모델 성능을 크게 향상시킵니다. 그룹 쿼리 어텐션(Group Query Attention, GQA)를 적용하여, 문서 경계를 넘지 않는 self-attention을 보장합니다. 또한, 405B 파라미터를 가진 모델을 15.6T 토큰, 8,192 컨텍스트 윈도우를 기본으로 훈련하여, 효율적인 인퍼런스를 가능하게 하며, 이후 context window을 128K 토큰으로 확장하는 추가 훈련 단계가 이어집니다. (Llama-2의 Ghost Attention, GAtt과 관련된 내용은 더 이상 언급되지 않네요. 사실상 프롬프팅 혹은 Instruction 등으로 해결될 수 있던 주제여서 그런 것 같습니다.)

Llama-3는 15T 토큰 이상의 데이터로 Pre-training되었으며, 이 데이터는 공개적으로 이용 가능한 소스에서 수집되었습니다. 데이터셋은 Llama-2 사용 데이터의 7배 크기이며, 30개 이상의 언어를 포함하는 비영어 데이터도 5% 이상 포함되어 있습니다.

[Pre-training의 확장 및 Instruction-tuning]

Pre-trained 언어 모델은 언어에 대한 풍부한 이해를 가지고 있지만, 아직 지시에 따르거나 예상하는 바와 같이 행동하지 않으므로, 휴먼의 피드백을 바탕으로 모델을 조정하기 위해 여러 라운드에 걸쳐 Supervised Learning(Supervised Fine-Tuning, SFT)과 직접 선호 최적화(Direct Preference Optimization, DPO)를 수행합니다. (Llama-2에서 대규모 크라우드 워커를 사용하여 휴먼 주석을 단 것과 맥락을 같이 하는 것 같습니다.) 도구 사용, 코딩, 인퍼런스 등의 새로운 능력을 통합하고, 모델의 안전성(메타의 주 관심사)을 확보하기 위한 처리도 수행합니다.

Pre-trained 모델을 효과적으로 활용하기 위해 Llama-3는 데이터 병렬화, 모델 병렬화, 파이프라인 병렬화를 조합하여 Pre-training을 확장해, 다양한 사용 사례에서의 성능을 향상시켰습니다.

Instruction Fine-tuning은 감독된 파인튜닝(Supervised Fine-Tuning, SFT), 거부 샘플링(Rejection Sampling, RS), 근접 정책 최적화(Proximal Policy Optimization, PPO), 직접 선호 최적화(Direct Preference Optimization, DPO)의 조합으로 이루어집니다. 이 과정에서 생성된 프롬프트의 질과 선호도 순위를 조정해 모델의 성능을 향상시킵니다.

[다양한 모달로의 확장]

또한, Llama-3는 이미지, 비디오, 음성 기능을 추가하는 다양한 모달 실험을 수행합니다.

• 멀티 모달 인코더 Pre-training: 이미지와 음성에 대한 별도의 인코더를 훈련하고,
• 비전 어댑터 훈련: Pre-trained 이미지 인코더를 언어 모델에 통합하기 위해 크로스 어텐션 레이어로 구성된 어댑터를 훈련시킵니다.
• 음성 어댑터 훈련: 음성 인코더를 통해 얻은 음성 인코딩을 언어 모델에 직접 입력할 수 있는 토큰 표현으로 변환하는 어댑터를 통합합니다.

결론적으로 Meta AI는 Llama-3부터 이미지와 소리와 관련된 멀티모달 연구에 박차를 가하고, 관련 내용을 보고합니다. (아직 공식 웨이트나 사용 사례를 공개하지는 않은 것 같습니다.)

[벤치마크 및 모델 평가]

Llama-3는 다양한 산업 벤치마크에서 좋은 성능을 보입니다. 특히, 이 모델은 HumanEval 벤치마크에서 코드 생성 작업을 평가할 때 좋은 성능을 보이는 것으로 확인했다고 합니다. 휴먼 평가자에 의한 평가는 다양한 실제 시나리오에서 이루어지며, Llama-3의 70B instruction-following 모델은 비슷한 크기의 경쟁 모델보다 우수한 성능을 보입니다.

지속적인 데이터 품질 관리와 분석을 기반으로 한 훈련 등에 대한 다양한 실험을 통해 Llama-3는 강력한 인퍼런스, 코딩 능력 및 지시 사항 이행 능력을 갖추었다고 합니다.

1. 서론

기초 모델(Large Foundation Model)은 언어, 시각, 음성 등 다양한 모달리티를 아우르는 일반적인 모델로, 다양한 AI 작업을 지원하는 기반을 형성합니다. Llama-3은 이런 기초 모델의 새로운 데이터셋로, 다국어 처리, 코딩, 인퍼런스 및 도구 사용을 자연스럽게 지원합니다. Llama-3 모델은 405B 파라미터를 가진 Dense Transformer 구조로, 최대 128K 토큰의 정보를 처리합니다.

[데이터 및 벤치마크]

이전 Llama 모델들과 비교하여 Llama-3은 데이터의 양과 질 모두를 향상시켰습니다. 특히, 전처리 데이터의 세심한 처리와 후처리 데이터의 엄격한 품질 관리 접근 방식이 개선되었습니다. Llama-3는 약 15T 다국어 토큰 코퍼스에서 Pre-training을 받았으며, 이는 Llama-2의 1.8T 토큰보다 훨씬 많은 수치입니다. Llama-3의 플래그십 모델은 다양한 언어 이해 작업을 아우르는 벤치마크 데이터셋에서 평가되며, GPT-4 등 경쟁 모델과 비교했을 때 비슷한 성능을 나타냅니다.

[주요 방법]

모델은 큰 규모의 Pre-training과 특정 지침을 따르는 후처리 훈련의 두 단계를 거칩니다. 특히, Llama-3의 개발에 있어 중요한 요소는 다음과 같습니다.

• 데이터: 향상된 전처리와 후처리 데이터 사용
• 규모: 이전 모델보다 훨씬 큰 규모에서의 훈련
• 복잡성 관리: 효율적인 모델 스케일링을 위한 설계 선택

Llama-3의 훈련 과정에서 사용된 수학적 기법은 주로 대규모 데이터에 대한 통계적 학습 이론과 딥러닝의 최적화 이론에 기초합니다. 모델의 성능과 규모 사이의 관계를 설명하는 스케일링 법칙은 다음과 같이 수식으로 표현될 수 있습니다.

이 수식은 모델의 크기가 로그 스케일로 성능에 영향을 미친다는 것을 나타났다고 하며, 플래그십 모델의 Pre-training에 사용된 FLOPs는 다음과 같이 계산됩니다.

이런 계산을 통해, Llama-3의 성능 개선이 단순히 모델 크기의 증가뿐만 아니라, 효율적인 계산 사용과 최적화된 훈련 방법에서 비롯됨을 논증할 수 있습니다.

2. 모델 개요

Llama-3 모델 아키텍처는 하단에 Figure 1에서 보여지듯이, 크게 두 가지 주요 단계로 구분할 수 있습니다. (하단에 모델에 아키텍처에 대한 간략한 Table 03도 참고)

(2-1) 첫 번째는 다국어 텍스트 코퍼스를 이산화 된 토큰으로 변환하고 이 데이터를 사용하여 다음 토큰 예측을 수행하는 대규모 언어모델의 Pre-training입니다. 이 과정에서 모델은 언어의 구조를 배우고 읽고 있는 텍스트로부터 세계에 대한 방대한 지식을 습득합니다. Pre-training은 405B 파라미터를 사용하여 15.6T 토큰에 대해 수행되며, 이후 128K 토큰까지 지원하는 컨텍스트 윈도우를 확장하는 추가 Pre-training 단계가 뒤따릅니다.

(2-2) 두 번째 단계는 Pre-trained 언어 모델의 Post-training으로, 이 모델은 아직 지시사항을 따르거나 기대하는 방식으로 행동하지 않도록하기 위해 수행됩니다. 휴먼의 피드백을 통해 모델을 조정하는 여러 라운드가 포함되며, 각 라운드는 지시 튜닝 데이터에 대한 감독된 파인튜닝(SFT)과 직접 선호 최적화(DPO)를 포함합니다. 이 단계에서는 도구 사용과 같은 새로운 기능을 통합하고, 코딩 및 인퍼런스과 같은 다른 영역에서의 개선을 관찰합니다. 안전 조치도 Post-training 단계에 통합되며, 이에 대한 세부 사항은 Section 5.4에서 확인하실 수 있습니다.

Figure 1 Illustration of the overall architecture and training of Llama-3. Llama-3 is a Transformer language model trained to predict the next token of a textual sequence. See text for details.

3. Pre-training

언어 모델의 Pre-training은 다음 단계로 구분됩니다.

• (1) 대규모 훈련 코퍼스의 큐레이션
• (2) 필터링
• (3) 모델 아키텍처의 개발
• (4) 해당하는 스케일링 법칙을 결정하기 위한 기법 개발
• (5) 대규모에서의 효율적인 Pre-training을 위한 기술 개발
• (6) Pre-training 레시피의 개발

[메타 데이터 전처리 관련 내용 색인마킹]

3.1 Pre-training 데이터

TL;DR

• 데이터 소스 활용: 2023년 말까지의 다양한 데이터 소스에서 데이터 수집
• 중복 제거 및 데이터 정제 방법 적용: 고품질 토큰을 확보하기 위해 다양한 기술 적용
  • 도메인 필터링: 개인식별정보(PII)가 많거나 성인 콘텐츠가 포함된 도메인 제거

3.1.1 웹 데이터 큐레이션

TL;DR

• PII 및 안전 필터링: 웹 소스에서 불안전한 콘텐츠와 PII를 제거하기 위한 필터 구현
• 텍스트 추출 및 정제
  • 맞춤형 파서 개발: 보일러플레이트 제거 및 콘텐츠 회수의 Precision를 최적화하기 위한 파서 구축
  • 파서 품질 평가: 유명한 제3자 HTML 파서와 비교하여 평가 및 우수성 확인
  • 콘텐츠 보존: 수학 및 코드 콘텐츠의 구조를 보존
  • 마크다운 제거: 웹 데이터로 주로 훈련된 모델의 성능을 저해하는 마크다운 표시 제거
• 중복 제거
  • URL 수준: 전체 데이터셋에서 URL 수준 중복 제거 수행. 각 URL에 해당하는 페이지의 최신 버전 유지
  • 문서 수준: 전체 데이터셋에 걸쳐 글로벌 MinHash를 사용하여 거의 중복된 문서 제거
  • 줄 수준: 빈번하게 등장하는 줄을 제거하여 데이터 품질 향상

대부분의 데이터는 웹에서 얻어지며, 아래에서 설명하는 클리닝 프로세스를 사용합니다. PII 및 안전 필터링, 텍스트 추출 및 클리닝, 중복 제거 및 휴리스틱 필터링을 통해 고품질의 텍스트를 추출하고 정제합니다. 또한, 웹 문서에서 코드와 수학 콘텐츠의 구조를 보존하기 위해 HTML 페이지를 세심하게 처리합니다.

다양한 모델 기반 품질 분류기를 사용하여 고품질 토큰을 선별하는 실험을 수행합니다. 이런 분류기에는 Wikipedia에서 참조될 것으로 예상되는 텍스트를 인식하도록 훈련된 FastText와 Llama-2의 예측에 기반한 더 계산 집약적인 Roberta 기반 분류기가 포함됩니다. 또한, 코드와 인퍼런스를 위한 도메인 특화 파이프라인을 구축하고 다국어 데이터에 대해서는 언어별 휴리스틱 및 모델 기반 필터를 적용합니다.

[메타-라마 ML 및 다른 NLP 모델 전처리에 활용 색인마킹]

1. (개인정보 및 안전 필터링) 웹사이트에서 불안전한 콘텐츠나 개인정보가 포함될 가능성이 있는 데이터를 제거하기 위해 필터를 구현합니다. 예를 들어, 성인 콘텐츠가 포함된 알려진 도메인이나 메타 안전 기준에 따라 해로운 것으로 평가된 도메인에서 데이터를 제거합니다.
2. (텍스트 추출 및 정리) 파싱되지 않은 원문 웹 문서의 원시 HTML 콘텐츠를 처리하여 고품질 다양한 텍스트를 추출합니다. 이를 위해 HTML 콘텐츠를 추출하고 내용 회수 및 보일러플레이트 제거에 대한 Precision를 최적화하는 맞춤형 파서를 구축합니다.
3. (중복 제거) URL, 문서, 줄 수준에서 여러 라운드의 중복 제거를 적용합니다. 예를 들어, 30M 문서 버킷에서 6회 이상 나타난 줄을 제거합니다.
   \(\text{De-duplication Formula} = \text{MinHash(Global)} + \text{Aggressive Line-level De-duplication}\)
4. (휴리스틱 필터링 및 모델 기반 품질 필터링) 품질이 낮은 문서, 이상치, 반복적 문서를 제거하기 위한 휴리스틱을 개발합니다. 또한, FastText 및 Roberta 기반 분류기를 사용하여 고품질 토큰을 선별합니다.

3.1.2: 데이터 믹스 결정

고품질 언어 모델을 얻기 위해 Pre-training 데이터 믹스의 비율을 신중하게 결정하며, 데이터 믹스를 결정하는 주요 툴은 다음과 같습니다.

1. (정보 및 지식 분류) 웹 데이터에 포함된 정보 유형을 분류하기 위해 분류기를 개발합니다. 이를 통해 웹에서 과대표된 데이터 카테고리를 다운샘플링합니다.
2. (스케일링 법칙 실험) 다양한 데이터 믹스에서 소규모 모델을 훈련시키고, 그 결과를 사용하여 대규모 모델의 성능을 예측합니다. 이 과정을 여러 차례 반복하여 새로운 데이터 믹스 후보를 선정하고, 이를 통해 대규모 모델을 훈련시킨 후 주요 벤치마크에서의 성능을 평가합니다.

3.1.3 데이터 어닐링(Annealing Data) (핵심 섹션)

TL;DR

• 어닐링을 통한 데이터 품질 향상: 고품질의 작은 양의 코드 및 수학 데이터에 초점을 맞춤
• 벤치마크 성능 향상 평가: 특정 벤치마크(e.g., GSM8k, MATH)에서의 성능 향상 평가
• 특정 도메인 데이터 가치 평가: 어닐링을 사용하여 특정 도메인 데이터셋의 가치 판단

[이전 논문(Llama-2)에 없던 발견]

데이터의 어닐링(Annealing) 과정은 특히 Llama-3 같은 언어 모델을 준비할 때 중요한 역할을 하며, 모델이 다양한 도메인에 대해 일반화하는 능력을 향상시키고 여러 벤치마크에서의 성능을 개선하는 데 도움을 줍니다.

실험 결과 고품질의 코드 및 수학 데이터에 대한 소량의 어닐링은 Pre-trained 모델의 주요 벤치마크 성능을 향상시킬 수 있다는 것을 확인했습니다. Li 등(2024b)의 연구와 유사하게, 특정 도메인에서 고품질 데이터를 업샘플링하는 데이터 믹스를 사용하여 어닐링을 수행하지만, 일반적인 벤치마크 훈련 데이터셋은 어닐링 데이터에 포함시키지 않습니다. 이런 접근 방식은 Llama-3의 진정한 퓨샷 학습 능력과 도메인 외 일반화를 평가할 수 있게 합니다.

OpenAI(2023a)의 방법을 따라, GSM8k(Cobbe 등, 2021) 및 MATH(Hendrycks 등, 2021b) 훈련 데이터셋에서 어닐링의 효과를 평가했습니다. 결과적으로, 어닐링은 Pre-trained Llama-3-8B 모델의 GSM8k 및 MATH 검증 데이터셋에서 각각 24.0% 및 6.4%의 성능 향상을 가져왔습니다. 그러나 405B 모델에서의 성능 향상은 미미하였으며, 이는 주력 모델이 강력한 맥락 내 학습 및 인퍼런스 능력을 가지고 있으며, 특정 도메인 내 훈련 샘플을 필요로 하지 않음을 시사합니다.

도메인 특화를 위해서 작은 모델에서는 어닐링이 효과적일 수 있음을 시사

Blakeney 등(2024)의 연구와 유사하게, 작은 도메인 특화 데이터셋의 가치를 평가하기 위해 어닐링을 활용합니다. 이런 데이터셋의 가치는 Llama-3-8B 모델을 40B 토큰에서 학습률을 0으로 선형 감소시키면서 어닐링하는 과정에서 평가합니다. 이 실험에서는 새 데이터셋에 30%의 가중치를 부여하고, 나머지 70%는 기본 데이터 믹스에 할당합니다. 새로운 데이터 소스를 평가하기 위해 어닐링을 사용하는 것은 각 작은 데이터셋에 대해 스케일링 법칙 실험을 수행하는 것보다 더 효율적이라고 언급합니다.

[어닐링 및 데이터 포션 조절 색인마킹]

이런 접근 방식을 통해 Llama-3 모델은 다양한 벤치마크와 실제 어플리케이션에서 더 나은 성능과 일반화 능력을 보여줄 것으로 기대됩니다. 어닐링은 모델이 더 정교하고 다양한 데이터에서 학습할 수 있도록 지원하며, 특히 수학적 인퍼런스이나 코드 관련 작업에서 그 효과가 두드러집니다.

데이터 어닐링을 통해 고품질 코드 및 수학 데이터의 작은 양을 사용하여 Pre-trained 모델의 성능을 향상시키는 것을 경험적으로 발견했습니다. 데이터 어닐링은 다음과 같이 수행됩니다.

1. 고품질 데이터 업샘플링: 특정 도메인의 고품질 데이터를 업샘플링하여 어닐링을 수행합니다.
2. 벤치마크에서의 평가: GSM8k 및 MATH 훈련 데이터셋에서 어닐링의 효과를 평가합니다. 예를 들어, Llama-3-8B 모델은 GSM8k 및 MATH 검증 데이터셋에서 각각 24.0%, 6.4%의 성능 향상을 보였습니다.

[그 외 처리]

• 다국어 데이터 처리
  • 언어 식별: FastText 기반 모델을 사용하여 문서를 176개 언어로 분류 (전체 데이터셋의 약 5% 정도로 언급)
  • 특정 필터링 및 중복 제거: 언어별 휴리스틱 및 모델 기반 필터 적용
• 모델 기반 품질 필터링
  • 빠른 분류기: FastText와 같은 도구를 사용하여 텍스트 분류를 빠르게 수행
  • Roberta 기반 분류기: Llama 2 데이터로 훈련된 더 깊은 분석을 위한 더 집중적인 분류기 사용

FastText는 페이스북 시절 만든 분류기로 Word2Vec는 단어 기반 토큰화를 한다면, FastText는 서브워드를 고려합니다.

Roberta는 Google의 BERT 모델을 베이스로하는 모델로, GPT-2와 동일하게 바이트 수준 BPE를 사용하고, DP처럼 각 에포크마다 토큰화하는 대신에 한 번에 토큰화를 수행하며 더 큰 배치와 더 많은 학습을 수행해서 다양한 NLP 태스크 특히 디코더 온리 모델이 하기 어렵거나 까다로운 태스크에 주로 사용되었었습니다.

3.2 Model Architecture

Llama-3 모델은 표준 밀집 트랜스포머 아키텍처를 사용하며, Llama 및 Llama 2 모델과 구조적으로 큰 차이는 없지만 데이터의 질, 다양성 개선과 훈련 규모 확대를 통해 성능 향상을 이루었습니다. 다음과 같은 몇 가지 작은 수정 사항이 있습니다.

• 그룹화된 쿼리 어텐션(Grouped Query Attention, GQA): 8개의 키-값 헤드를 사용하여 인퍼런스 속도를 향상시키고 디코딩 중 키-값 캐시의 크기를 줄입니다.

• 어텐션 마스크 사용: 서로 다른 문서 간의 셀프 어텐션(self-attention)을 방지합니다. 이 변경은 표준 Pre-training에서는 제한적인 영향을 미쳤지만, 긴 시퀀스에 대한 지속적인 Pre-training에서 중요합니다.

• 하이퍼파라미터 개요
  • 모델 크기: 8B, 70B, 405B 언어 모델에 대한 설정이 표 3에 나열됩니다. (405B를 위한 스케일링 법칙 실험 등이 수행되었음)
  • 어휘 사전: 128K 토큰을 사용하며, 이는 기존의 tiktoken3 토크나이저에서 100K 토큰과 추가적으로 28K 토큰을 결합한 것입니다. 이는 영어 데이터에서의 압축률을 개선하고, 비영어 언어 지원을 강화합니다.
• RoPE 기본 프리퀀시 하이퍼파라미터
  • 500,000으로 증가시켜 더 긴 컨텍스트를 지원하도록 조정되었습니다.

Llama-3 405B는 126개의 레이어, 16,384의 Token Embedding Dimension, 128개의 어텐션 헤드를 사용하며, 이는 주어진 훈련 예산 하에서 데이터의 스케일링 법칙에 따라 계산 최적화된 모델 크기를 제공합니다.

3.2.1 스케일링 법칙 (핵심 섹션)

TL;DR

• 스케일링 법칙은 Pre-training의 계산 예산을 고려하여 플래그십 모델의 최적 크기를 결정하는 데 사용되며, 스케일링 법칙은 단순히 다음 토큰 예측 손실을 예측하는 것이 아니라, 특정 벤치마크 성능까지 예측하기 위해 개발되었습니다. 이를 위해 두 단계를 적용합니다.
  1. Downstream 작업에서의 음의 로그 가능도와 훈련 FLOPs 사이의 상관관계를 먼저 확립한 뒤,
  2. Downstream 작업의 음의 로그 가능도와 작업 정확도 사이의 상관관계를 설정하며, 여기서는 이전 모델과 비교하여 높은 계산 FLOPs를 사용한 모델을 활용합니다.

스케일링 법칙을 개발하여 Llama-3 모델의 최적 크기와 주어진 Pre-training 컴퓨팅 예산에 따른 모델의 성능을 결정하는 절차를 정의했습니다. 이 절차는 두 가지 주요 과제를 해결하기 위해 설계되었습니다.

• (1) 기존 스케일링 법칙은 특정 벤치마크 성능을 예측하기보다는 다음 토큰 예측 손실을 예측하는 경향이 있습니다.
• (2) 스케일링 법칙은 작은 컴퓨트 예산으로 수행된 Pre-training을 기반으로 개발되어 노이즈가 많고 불안정할 수 있습니다. (Wei et al, 2022b)

위와 같은 문제를 해결하기 위해, Downstream 벤치마크 성능을 정확하게 예측할 수 있는 스케일링 법칙을 개발하기 위한 두 단계 방법을 구현했습니다.

1. Downstream 작업에 대한 모델의 음의 로그 가능도($\text{NLL}$)와 훈련에 사용된 부동 소수점 연산($\text{FLOPs}$) 간의 상관관계를 설정합니다.
2. Downstream 작업의 $\text{NLL}$과 작업 정확도 간의 상관관계를 설정하며, 이 과정에서 스케일링 법칙 모델뿐만 아니라 더 높은 컴퓨트 $\text{FLOPs}$를 사용하여 훈련된 이전 모델들(Llama 2 모델군)을 활용합니다.

이런 접근 방식을 통해 특정 $\text{FLOPs}$ 수치에 대한 컴퓨트 최적 모델의 Downstream 작업 성능을 예측할 수 있습니다. 이는 6 × $10^{18}$ $\text{FLOPs}$에서 $10^{22}$ $\text{FLOPs}$ 범위의 컴퓨트 예산을 사용하여 모델을 Pre-training하면서 구체적으로 구현됩니다. 각 컴퓨트 예산에서는 40M에서 16B 파라미터에 이르는 다양한 크기의 모델을 사용하며, 각 컴퓨트 예산별로 하위 모델 크기를 선택합니다. 훈련 실행에서는 코사인 일정한 learning rate과 2,000 훈련 단계에 대한 선형 워밍업을 사용하고, 피크 학습률은 모델 크기에 따라 $2 \times 10^{-4}$에서 $4 \times 10^{-4}$ 사이로 설정됩니다. 코사인 감쇠는 피크 값의 0.1로 설정되며, 각 단계에서의 가중치 감쇠는 그 단계의 학습률의 0.1 배로 설정됩니다.

실험은 Figure 2에 나타난 IsoFLOPs 곡선으로 이어집니다. 이 곡선에서 손실은 별도의 검증 셋에서 측정되며, 측정된 손실 값은 2차 다항식을 사용하여 적합시키고 각 포물선의 최소값을 식별합니다. 이 최소값은 각 Pre-training 컴퓨트 예산에 해당하는 컴퓨트 최적 모델로 간주됩니다. 이 방식으로 식별된 컴퓨트 최적 모델을 사용하여 특정 컴퓨트 예산에 대한 훈련 토큰의 최적 수를 예측합니다. 이를 위해 컴퓨트 예산 $C$와 최적 훈련 토큰 수 $N^*(C)$ 간의 멱법칙 관계를 가정합니다.

$A$와 $\alpha$는 Figure 2에서 얻은 데이터를 사용하여 적합합니다. $(\alpha, A) = (0.53, 0.29)$를 계산했으며, 해당 적합은 Figure 3에 표시됩니다. 이 스케일링 법칙의 결과를 3.8 × $10^{25}$ $\text{FLOPs}$로 외삽하면 402B 파라미터 모델을 16.55T 토큰으로 훈련하는 것을 제안합니다.

IsoFLOPs 곡선을 통해 컴퓨트 예산이 증가함에 따라 최소값 주변에서 평탄해지는 경향을 확인해 최종적으로 405B 파라미터를 가진 주력 모델을 플래그십 모델로 훈련하기로 결정했다고 합니다. 이런 분석을 바탕으로 주력 모델의 성능이 모델 크기와 훈련 토큰 간의 소규모 변동에 상대적으로 더 견고할 수 있음을 시사합니다.

[관련논문] Q-Sparse: All Large Language Models can be Fully Sparsely-Activated에서도 멱법칙과 Scaling Law 내용 언급, 그 외 다양한 최신 논문에서도 보고함. (2024.06 ~ 07)

3.3 인프라, 스케일링 및 효율성

Llama-3 405B Pre-training을 지원하는 하드웨어 및 인프라에 대해 설명하고, 훈련 효율성을 향상시키는 여러 최적화를 논의합니다.

3.3.1 훈련 인프라

Llama 1 및 2 모델은 Meta의 AI Research SuperCluster에서 훈련되었습니다. Llama-3의 훈련은 규모 확장을 위해 Meta의 생산 클러스터로 이전되었습니다. 이 설정은 훈련을 확대할 때 필수적인 생산 등급의 신뢰성을 최적화합니다.

• 계산: Llama-3 405B는 Meta의 Grand Teton AI 서버 플랫폼에서 운영되는 최대 16K개의 H100 GPU에서 훈련됩니다.
• 저장소: Tectonic, Meta의 분산 파일 시스템은 Llama-3 Pre-training을 위한 저장소 패브릭을 구축하는 데 사용됩니다.
• 네트워크: Llama-3 405B는 RoCE 기반 네트워크를 사용하며, 네트워크 토폴로지와 부하 균형, 혼잡 제어를 최적화하여 대규모 훈련 작업에 적합한 성능을 제공합니다.

위와 같은 최적화를 통해 전형적인 혼잡 제어 방법 없이 24K GPU 클러스터를 성공적으로 운영했다고 보고합니다.

3.3.2 모델 스케일링을 위한 병렬 처리

Llama-3 모델의 훈련 확장을 위해 4D 병렬 처리를 사용합니다. 이 방식은 네 가지 다른 종류의 병렬 처리 방법을 결합하여 모델을 분할하고, 많은 GPU에 걸쳐 계산을 효율적으로 분배하며, 각 GPU의 모델 파라미터, 최적화 상태, 기울기, 활성화가 해당 HBM에 맞도록 조정하며, [텐서 병렬 처리(TP), 파이프라인 병렬 처리(PP), 컨텍스트 병렬 처리(CP), 데이터 병레 처리(DP)]의 네 가지 병렬 처리 방법을 결합하여 사용합니다.

• 텐서 병렬 처리(Tensor Parallelism, TP): 개별 가중치 텐서를 여러 장치에 걸쳐 여러 조각으로 나누고,
• 파이프라인 병렬 처리(Pipeline Parallelism, PP): 모델을 레이어별로 수직으로 분할하여 다양한 단계를 병렬로 처리합니다.
• 컨텍스트 병렬 처리(Context Parallelism, CP): 입력 컨텍스트를 세그먼트로 나누어 긴 시퀀스 길이 입력에 대한 메모리 병목 현상을 감소시킵니다.

• 데이터 병렬 처리(Data Parallelism, DP): 다수의 GPU에서 데이터를 병렬로 처리하고 각 훈련 단계 후에 동기화합니다. 이 때 풀리 셰어드 데이터 병렬 처리(FSDP)를 사용하여 모델, 최적화 프로그램 및 그래디언트를 공유하면서 데이터 병렬 처리를 구현합니다. FSDP의 사용은 다음 수식으로 설명될 수 있으며, 이를 통해 각 GPU의 메모리 내에서 모델 파라미터, 최적화 프로그램 상태, 그래디언트 및 활성화가 적합하게 유지되도록 합니다. (\(M\)은 모델, \(O\)는 최적화 프로그램, \(G\)는 그래디언트, \(D\)는 데이터)

  \[\text{FSDP}(D) = \text{Shard}(M, O, G) \cdot \text{Parallel}(D)\]

다양한 OP 함수와 자동화를 통해서 실패 시 덤프하는 등으로 수동으로 디버깅 혹은 모델 학습을 재개하지 않아도 되도록 구성함.

[파이프라인 병렬 처리의 향상]

파이프라인 병렬 처리에서는 (1) 배치 크기 제약과 (2) 메모리 불균형, (3) 계산 불균형 등의 챌린지에 직면했습니다. 이를 해결하기 위해 파이프라인 스케줄을 수정하여 배치 크기와 마이크로배치 수를 유연하게 조정할 수 있도록 했습니다.

• (1) 배치 크기 제약: 지원되는 배치 크기에 제약이 있어 GPU당 배치 크기가 파이프라인 단계 수로 나누어져야 합니다.
• (2) 메모리 불균형: 첫 번째 단계에서 임베딩과 워밍업 마이크로 배치로 인해 더 많은 메모리를 소비합니다.
• (3) 계산 불균형: 모델의 마지막 레이어에서 출력과 손실 계산이 필요하여 실행 지연의 병목 현상이 발생합니다.

[컨텍스트 병렬 처리의 활용]

콘텍스트 병렬 처리를 사용하여 Llama-3의 컨텍스트 길이를 확장하고 최대 128K 길이의 긴 시퀀스에서 훈련시키기 위해 CP를 사용하여 시퀀스 차원을 가로질러 파티션(2×CP 조각)을 나누고, 로드 밸런싱을 개선하기 위해 각 CP 랭크가 두 청크를 받도록 구성했습니다.

[네트워크 인식 병렬 처리 구성]

병렬 처리 차원의 순서([TP, CP, PP, DP])는 네트워크 통신을 최적화하기 위해 조정했습니다. 내부 병렬 처리는 가장 높은 네트워크 대역폭과 낮은 지연 시간을 요구하며, 외부 병렬 처리는 더 높은 네트워크 지연을 허용할 수 있습니다. (대역폭과 지연 시간 요구 사항에 따라 최적화)

[수치 안정성]

다양한 병렬 처리 설정 간의 훈련 손실을 비교하여 여러 수치 문제를 해결했습니다. 훈련 수렴을 보장하기 위해 FP32 그래디언트 누적을 사용하고, FSDP에서 데이터 병렬 작업자 간에 FP32로 그래디언트를 reduce-scatter합니다. 통신 오버헤드를 최소화하면서 GPU 메모리 오버플로를 피하기 위해 메모리 소비 추정기와 성능 예측 도구를 개발하여 다양한 병렬 처리 구성을 탐색하고 전반적인 훈련 성능을 예측하였습니다.

3.3.3 집합적 통신

Llama-3의 집합적 통신 라이브러리는 Nvidia의 NCCL 라이브러리를 기반으로 하는 NCCLX를 사용했는데, 높은 지연 네트워크에서 NCCL의 성능을 크게 향상시켰다고 보고합니다. (병렬 처리 차원의 외부에서는 PP와 DP가 다단계 네트워크를 통해 통신할 수 있으며, 지연 시간은 수십 마이크로초에 이를 수 있습니다.)

데이터 청크 생성과 단계적 데이터 복사를 필요로 하는 기존 NCCL에 비해 NCCLX는 NCCL 튜닝을 통해 이런 비효율성을 일부를 해결했다고 합니다.

3.3.4 신뢰성 및 운영상의 도전

Llama-3의 16K GPU 훈련은 이전에 운영한 대규모 CPU 클러스터보다 더 복잡하고 잠재적인 실패 시나리오가 많습니다. 훈련의 동기적 특성으로 인해 고장에 대한 내성이 낮아, 단일 GPU 고장이 전체 작업의 재시작을 필요로 할 수 있습니다. 그럼에도 불구하고, 운영 체제 및 펌웨어 업그레이드와 같은 자동 클러스터 유지 관리를 지원하면서 90% 이상의 효과적인 훈련 시간을 달성했습니다.

[실패 및 대응]

54일간의 Pre-training 기간 동안 총 466회의 작업 중단이 발생했으며, 이 중 47건은 펌웨어 업그레이드와 같은 예정된 중단이었습니다. 나머지 419건은 예상치 못한 중단으로, 이 중 78%가 하드웨어 문제로 확인되었습니다. GPU 문제가 모든 예기치 않은 문제의 58.7%를 차지했습니다. 대부분의 문제는 자동화를 통해 처리되었으며, 이 기간 동안 실제로 수동 개입이 필요한 경우는 세 번에 불과했습니다.

[도구 및 최적화]

효과적인 훈련 시간을 늘리기 위해 작업 시작 및 체크포인팅 시간을 줄이고, 문제 진단 및 해결을 위한 도구를 개발했습니다. 특히, PyTorch의 NCCL 플라이트 레코더를 활용하여 빠르게 문제를 진단하고 성능 문제를 해결했습니다. 이를 통해 모든 통신 이벤트를 효율적으로 기록하고, 각 집합적 연산의 지속 시간을 기록하며, NCCLX 감시 시간 초과 시 자동으로 추적 데이터를 덤프합니다.

[네트워크 문제와 디버깅]

대규모 훈련에서 NVLink과 RoCE의 혼합 사용은 디버깅을 복잡하게 만듭니다. 데이터 전송은 CUDA 커널에 의해 발행된 로드/스토어 작업을 통해 이루어지며, NVLink 연결성 실패는 CUDA 커널 내에서 정체된 로드/스토어 작업으로 나타납니다. NCCLX는 PyTorch와의 긴밀한 공동 설계를 통해 실패 탐지와 위치 확인의 속도와 정확성을 향상시킵니다.

[환경 요인의 영향]

Llama-3 405B의 훈련 성능에는 하루 중 시간에 따라 1-2%의 처리량 변동이 있었으며, 주로 정오의 높은 온도가 GPU의 동적 전압 및 frequencies 스케일링에 영향을 주기 때문인 것으로 분석하고 있습니다. 또한, 수만 개의 GPU가 동시에 전력 소비를 증감시킬 때, 데이터 센터 전체의 전력 소비에 큰 변동이 발생하여 전력망의 한계를 시험합니다.

3.4 훈련 레시피

Llama-3 405B의 Pre-training은 세 가지 주요 단계로 구성됩니다. 초기 Pre-training, 긴 컨텍스트 Pre-training, 그리고 어닐링. 이와 유사한 레시피가 8B 및 70B 모델에도 적용됩니다.

3.4.1 초기 Pre-training

일정한 cosine learning rate를 사용하였으며 최대 학습률은 $8 \times 10^{-5}$로 설정하고, 8,000 단계에 걸쳐 선형적으로 웜업 후 1,200,000 훈련 단계 동안 $8 \times 10^{-7}$로 감소시켰습니다.

훈련 초기에는 안정성을 위해 낮은 배치 크기를 사용하며, 효율성을 높이기 위해 점차 배치 크기를 증가시킵니다. 예를 들어, 초기에는 4M 토큰의 배치 크기와 4,096의 시퀀스 길이를 사용하고, 252M 토큰 Pre-training 후 배치 크기와 시퀀스 길이를 두 배로 늘립니다. 이후 2.87T 토큰 Pre-training 후에는 배치 크기를 다시 두 배로 증가시킵니다.

[Pre-training Recipe 색인마킹]

3.4.2 긴 컨텍스트 Pre-training

Pre-training의 마지막 단계에서는 최대 128K 토큰의 context window을 지원하기 위해 긴 시퀀스로 훈련합니다. self-attention 계층의 계산이 시퀀스 길이에 따라 2차적으로 증가하기 때문에 초기에는 긴 시퀀스로 훈련하지 않습니다. 지원되는 컨텍스트 길이를 단계적으로 증가시키면서 모델이 증가된 컨텍스트 길이에 성공적으로 적응할 때까지 Pre-training을 계속합니다. 성공적인 적응은 (1) 짧은 컨텍스트 평가에서 모델 성능이 완전히 회복되었는지, (2) 해당 길이까지의 Needle in a Haystack 벤치마크 태스트를 완벽하게 해결하는지를 측정함으로써 평가됩니다.

3.4.3 어닐링

(1) 40M 토큰에 대한 Pre-training 동안 학습률을 0까지 선형적으로 감소시킵니다. 이 어닐링 단계에서는 (2) 데이터 믹스를 조정하여 높은 품질의 데이터 소스를 업샘플링합니다. 마지막으로, (3) 폴리악 평균(Polyak Averaging)을 사용하여 최종 Pre-trained 모델을 생성합니다.

참고자료: Stochastic Approximation

폴리악 평균(Polyak Averaging)은 학습에서 모델 파라미터의 안정적인 최종 값을 얻기 위해 사용되는 기법으로, 특정 조건에서 학습을 거듭하는 동안 파라미터의 평균을 계산하여, 최적의 성능을 보이는 평균적인 파라미터를 도출하고자 하는 경우에 사용되며, 크고 복잡한 데이터셋에서 노이즈와 변동성을 줄이는 데 효과적입니다. 예를 들어 학습률을 점차 감소시키면서, 모델의 각 traine step에서의 파라미터 값을 기록합니다. 첫 번째 스텝에서 파라미터 값이 [0.5, 0.3], 두 번째 스텝에서 [0.48, 0.29], 마지막 스텝에서 [0.47, 0.28]이라면, 이 파라미터들의 평균값을 계산하여 최종 모델의 파라미터로 사용합니다. Llama-3의 어닐링 실험 단계 동안 학습률이 점차 감소함에 따라 모델 파라미터가 점점 더 최적화되어 가는 과정에서, 단순히 최종 스텝에서의 파라미터 값만을 사용하는 것보다는 여러 스텝에 걸친 파라미터 값들의 평균을 사용함으로써 더욱 일반화된 모델을 얻을 수 있습니다. 즉, 학습 도중 파라미터 값이 최적화되는 과정에서 각각의 스텝이 최적의 값에 도달하기는 하지만, 개별 스텝의 값은 때로는 최적값에서 벗어날 수 있는데 폴리악 평균을 사용함으로써, 이런 개별 스텝의 값들을 평균내어 모델이 전체적으로 더 안정적인 성능을 나타내도록 합니다. 결과적으로, 최종적으로 생성된 모델은 개별 스텝의 결과보다 더 일관된 성능을 보일 수 있고, 모델의 일반화 능력 및 신뢰도를 어느정도 담보할 수 있게됩니다. (추정)

4. Post-training

Pre-trained 체크포인트를 기반으로 여러 라운드의 Post-training을 적용하여 Llama-3 모델을 정렬합니다. 각 Post-training 라운드는 감독된 파인튜닝(SFT)에 이어 직접 선호 최적화(DPO)를 포함합니다.

4.1 모델링

Post-training 전략의 핵심은 보상 모델과 언어 모델입니다. 먼저, 휴먼이 주석을 단 선호도 데이터를 기반으로 Pre-trained 체크포인트 위에 보상 모델을 훈련시킵니다. 이후 Pre-trained 체크포인트를 SFT를 사용하여 파인튜닝하고 DPO를 사용하여 체크포인트를 추가 조정합니다.

4.1.1 채팅 대화 형식

LLM을 휴먼-AI 상호작용에 맞추기 위해 모델이 휴먼 지시를 이해하고 대화 작업을 수행할 수 있는 채팅 대화 프로토콜을 정의합니다. Llama-3은 도구 사용과 같은 새로운 기능을 포함하여 여러 메시지를 생성하고 단일 대화 턴 내에서 다른 위치로 메시지를 전송할 수 있습니다.

4.1.2 보상 모델링(Reward Modeling)

보상 모델은 선호도 데이터를 기반으로 다양한 기능을 커버하며 훈련됩니다. 선호도 쌍(선택된 반응, 거부된 반응) 외에도 일부 프롬프트에 대해 선택된 반응을 개선하기 위해 편집된 반응이 추가됩니다. 이런 방식으로 각 선호도 샘플은 명확한 순위(편집 > 선택 > 거부)를 가지고 훈련에 사용됩니다.

4.1.3 감독된 파인튜닝(SFT)

보상 모델은 휴먼 주석 프롬프트에서 거부 샘플링을 수행하며, 이 데이터와 다른 데이터 소스를 사용하여 Pre-trained 언어 모델을 파인튜닝합니다. 이 단계는 표준 교차 엔트로피 손실을 사용하여 진행됩니다.

4.1.4 직접 선호 최적화(DPO)

SFT 모델을 DPO를 사용하여 추가 훈련합니다. DPO는 휴먼의 선호도에 맞추기 위해 최신 선호도 데이터 배치를 사용하여 훈련합니다. DPO 학습에는 특수 포맷 토큰을 마스킹하고 추가적인 음의 로그 가능성(NLL) 손실 항을 적용하여 훈련을 안정화합니다.

[DPO train 안정화 방안 색인마킹]

4.1.5 모델 평균화

다양한 데이터 버전이나 하이퍼파라미터를 사용하여 실험한 모델을 각 RM, SFT, DPO 단계에서 평균화합니다. 이는 모델의 일반화 성능을 향상시키고 특정 데이터셋이나 설정에 과적합되는 것을 방지하기 위해 사용됩니다.

4.1.6 반복

Llama-2의 방법을 따라, 여섯 라운드를 통해 위의 방법을 적용합니다. 각 사이클에서, 최신 모델에서 생성된 합성 데이터를 포함하여 새로운 선호도 주석 및 SFT 데이터를 수집합니다.

4.2 Post-training 데이터

Post-training 데이터 구성은 언어 모델의 유용성과 행동에 결정적인 역할을 수행합니다.

4.2.1 선호 데이터

선호 데이터 주석 과정에서 다양한 모델을 배치하고 각 사용자 프롬프트에 대해 두 가지 다른 모델에서 두 응답을 샘플링합니다. 주석자들은 선호도의 강도를 네 가지 수준으로 평가하고, 선호 응답을 개선하기 위해 편집 단계를 포함시킵니다. 이로 인해 일부 선호 데이터는 세 가지 응답이 순위가 매겨집니다. (편집 > 선택 > 거부)

4.2.2 SFT 데이터

Rejection Sampling 매 스텝별로 모델의 체크포인트별로 거부된 샘플을 수집해서 DPO의 rejeceted 데이터로 사용해서 하한을 설정.

• 파인튜닝 데이터는 다음과 같은 출처로 구성됩니다.
  • 휴먼 주석 수집에서의 프롬프트와 거부 샘플링된 응답
  • 특정 능력을 대상으로 하는 합성 데이터
  • 소량의 휴먼 큐레이션 데이터
• Post-training 라운드가 진행됨에 따라, Llama-3 변형을 개발하여 더 크고 복잡한 능력을 다루는 데이터셋을 수집합니다.

이 데이터들은 다양한 복잡한 기능을 커버하는 더 큰 데이터셋을 수집하기 위해 사용됩니다. 거부 샘플링(RS) 과정에서는 최신 챗 모델 정책에서 생성된 여러 출력 중에서 최고의 후보를 선택하기 위해 보상 모델을 사용합니다. 이 과정은 특정 기능에 대한 최고 성능 체크포인트를 사용하며, 후속 훈련 라운드에서는 시스템 프롬프트를 도입하여 RS 응답이 원하는 톤, 스타일, 형식에 맞도록 조정합니다.

거부 샘플링의 효율을 높이기 위해 PagedAttention을 채택하여 메모리 효율을 향상시키고, 동적 키-값 캐시 할당을 통해 임의의 출력 길이를 지원합니다. 이 기술은 캐시 용량에 따라 요청을 동적으로 스케줄링하여 처리량을 2배 이상 향상시킵니다.

vllm or paged attention minimal repository for further reading

데이터의 전반적인 구성은 다양한 범어텐션 “도움” 믹스에 대한 데이터 통계를 보여줍니다. SFT 데이터와 선호도 데이터는 중복되는 영역이 있지만 다르게 큐레이션되어 각각 고유한 수치를 나타냅니다. 각 후속 훈련 라운드에서는 이런 데이터 믹스를 조정하여 다양한 벤치마크에서 성능을 조율합니다. 최종 데이터 믹스는 일부 고품질 출처에서 여러 번 반복 처리하고 다른 출처는 샘플링 비율을 낮춥니다.

4.2.3 데이터 처리 및 품질 관리

이런 단계는 Post-training 데이터가 모델의 성능과 특정 벤치마크에서의 성능을 향상시키는 데 중요한 역할을 하도록 보장하며, 데이터의 품질과 다양성은 모델의 유용성을 높이는 데 결정적입니다.

• 대부분의 훈련 데이터가 모델 생성이므로, 철저한 데이터 클리닝과 품질 관리가 필요합니다.
• 데이터 클리닝: 초기 라운드에서 문제가 되는 데이터를 필터링하거나 정리하기 위한 일련의 규칙 기반 데이터 제거 및 수정 전략을 구현합니다.
• 데이터 프루닝: 낮은 품질의 훈련 샘플을 제거하고 전반적인 모델 성능을 향상시키기 위한 일련의 모델 기반 기술을 적용합니다. 이에는 주제 분류, 품질 점수 산정, 난이도 점수 산정, 의미적 중복 제거가 포함됩니다.

4.3 기능 개선

Llama-3의 특정 기능을 집중적으로 개선하기 위해 다양한 부문에서 탐색하고 수행되었습니다.

4.3.1 코드

• 전문 훈련: 주로 (>85%) 코드 데이터로 구성된 1T 토큰 믹스에서 계속된 Pre-training을 통해 코드 전문가를 훈련합니다. 이런 도메인 특화 데이터에서의 지속적인 Pre-training은 특정 도메인에서 성능을 향상시키는 데 효과적이라고 언급합니다.
• 합성 데이터 생성: 코드 생성에서 발생하는 문제들을 식별하고, 이를 해결하기 위해 합성 데이터를 대규모로 생성합니다. 특히, 실행 피드백을 사용하여 모델이 자신의 실수에서 배우고 올바른 방향으로 유지하도록 합니다.
• 시스템 프롬프트 스티어링과 품질 필터: 시스템 프롬프트를 사용하여 코드의 가독성과 문서화를 개선하고, 훈련 데이터에서 나쁜 샘플을 제거하기 위한 품질 필터를 생성합니다.

4.3.2 다국어성

• 전문가 훈련: Pre-training 데이터 믹스에 영어 토큰이 비영어 토큰보다 훨씬 많이 포함되어 있으므로 다국어 전문가를 따로 훈련했습니다. 이 전문가는 Pre-training을 계속하면서 90%가 다국어 토큰으로 구성된 데이터 믹스에서 훈련됩니다.
• 다국어 데이터 수집: 고품질의 다국어 SFT 데이터는 휴먼 주석, 다른 NLP 작업에서 파생된 데이터, 거부 샘플링 데이터, 번역된 인퍼런스 데이터 등으로부터 파생됩니다.

[도메인에 따라서 나누어서 학습 색인마킹, 관련 sDPO 외]

4.3.3 수학 및 인퍼런스

• 합성 데이터 생성: 수학 및 인퍼런스 능력 향상을 위해, 수학 문제의 설명과 솔루션을 생성하고 이들의 정확성을 분석합니다. 이 과정에는 정적 분석과 단위 테스트 생성 및 실행이 포함됩니다.
• 문제 설명 및 솔루션 생성: 다양한 프로그래밍 문제 설명을 생성하고 Llama-3을 사용하여 각 문제를 지정된 프로그래밍 언어로 해결하도록 요청합니다.
• 정확성 분석: 생성된 솔루션의 정확성을 보장하기 위해 정적 및 동적 분석 기술을 적용합니다.

4.3.4 긴 컨텍스트

• 긴 컨텍스트 파인튜닝 (LCFT): 코드 전문가의 컨텍스트 길이를 16K 토큰으로 확장하기 위해 높은 품질의 저장소 수준 코드 데이터 믹스에서 LCFT(Long Context Fine-Tuning)를 수행합니다.

4.3.5 도구 사용 (에이전트 혹은 프롬프트 스티어링)

• 시스템 프롬프트 스티어링: 코드의 가독성, 문서화, 철저성 및 특정성을 향상시키기 위해 코드 특정 시스템 프롬프트를 사용하는 거부 샘플링 과정에서 스티어링을 사용합니다.

4.3.6 사실성

• 훈련 데이터 필터링: 실행 및 모델-Judge 신호를 사용하여 훈련 데이터에서 버그가 포함된 코드 블록과 같은 품질 문제를 감지합니다. 이런 필터링은 특히 도전적인 프롬프트가 많이 제거되어 벤치마크 성능이 저하되었을 때 문제를 해결하기 위해 채택됩니다.

4.3.7 조종성

• 다국어 언어 스티어링: 모델의 전반적인 성능을 향상시키기 위해 다국어 언어 스티어링에 특정 챌린지를 해결합니다. 이를 위해 높은 품질의 다국어 지시 튜닝 데이터를 수집하고 생성합니다.

5. 결과

Llama-3 모델의 평가를 진행하여 다음과 같은 세 가지 주요 영역에서의 성능을 조사했습니다. (1) Pre-trained 언어 모델, (2) Post-trained 언어 모델, (3) Llama-3의 안전성 특성. 각각의 평가 결과를 하위 섹션별로 제시합니다.

5.1 Pre-trained LM

5.1.1 표준 벤치마크

TL;DR

• Llama-3을 여러 표준 벤치마크에 적용하여 현존하는 상위 모델과 비교했습니다. 이 벤치마크는 상식 인퍼런스, 지식, 독해, 수학 및 문제 해결, 긴 컨텍스트, 코드, 적대적 평가, 종합 평가의 여덟 가지 주요 범주를 포함합니다.
• 각 벤치마크에 대해 Llama-3 및 다른 비슷한 크기의 Pre-trained 모델들의 점수를 계산하며, 가능한 경우 다른 모델들에 대해서는 파이프라인으로 숫자를 재계산합니다. 이를 통해 공정한 비교를 보장하려고 합니다.
• Llama-3의 성능은 다양한 범주에서 경쟁 모델을 대부분 초과하는 것으로 나타났으며, 특히 상식 인퍼런스, 독해, 수학 및 문제 해결, 코딩 벤치마크에서 향상된 성능을 보였습니다.

(1) commonsense reasoning; (2) knowledge; (3) reading comprehension; (4) math, reasoning, and problem solving; (5) long context; (6) code; (7) adversarial evaluations; and (8) aggregate evaluations.

[실험 설정]

Llama-3 모델과 비슷한 크기의 다양한 Pre-trained 모델들에 대해 각 벤치마크의 점수를 계산합니다. 가능한 경우, 다른 모델들에 대한 점수도 파이프라인을 사용하여 재계산합니다. 공정한 비교를 위해, 계산된 점수와 보고된 점수 중 더 좋은 점수를 선택합니다. 일부 모델의 경우, 예를 들어 Pre-trained 모델이 공개되지 않았거나 API가 로그 확률에 접근할 수 없기 때문에 벤치마크 값을 재계산할 수 없습니다. 특히 Llama-3 405B와 비슷한 모델들에 대해서는 이 문제가 있습니다. 따라서 Llama-3 405B의 범주 평균을 보고하지 않습니다. 이는 모든 벤치마크에 대한 모든 숫자가 필요하기 때문입니다.

[통계적 신뢰구간 설정]

벤치마크 점수를 계산할 때, 몇 번의 시연, 무작위 시드, 배치 크기 등과 같은 여러가지 변동성 원인으로 인해 모델의 성능 추정이 부정확할 수 있습니다. 이로 인해 어떤 모델이 다른 모델보다 통계적으로 유의미하게 우수한지 판단하기 어렵습니다. 이런 이유로 점수와 함께 벤치마크 데이터 선택에서 비롯된 변동성에 대한 95% 신뢰 구간(CI)을 보고합니다. 95% 신뢰 구간은 다음 공식을 사용하여 계산합니다. (Madaan et al., 2024b)

\(S\)는 선호되는 벤치마크 점수이고 \(N\)은 벤치마크의 샘플 크기입니다. 벤치마크 데이터의 변동성이 유일한 원인이 아니기 때문에, 이 95% 신뢰 구간은 실제 능력 추정치에서의 변동성에 대한 하한을 나타냅니다. 단순 평균이 아닌 지표에 대해서는 신뢰 구간을 생략합니다.

[평가 지표 신뢰구간 추정 색인마킹]

5.1.2 Model Robustness

TL;DR

• 다중 선택 질문 설정의 설계 선택에 대한 모델의 Robustness를 조사합니다. 특히 레이블의 바이어스, 레이블 변형, 답변 순서, 프롬프트 형식에 따라 모델 성능의 변동성을 평가합니다.
• 설계 선택의 변화에 대한 모델의 Robustness를 보여주며, 특히 Llama-3 405B 모델은 MCQ 레이블과 few-shot 프롬프트 레이블 구조의 변화에 견고함을 입증합니다.

Robustness은 Pre-trained 언어 모델의 품질을 평가하는 중요한 요소로, 다중 선택 질문(MCQ) 설정에서 디자인 선택에 따른 모델의 Robustness를 조사합니다. 이전 연구들이 보고한 바에 따르면, 이런 설정에서 모델 성능은 디자인 선택에 민감할 수 있으며, 예를 들어, 문맥의 순서와 레이블, 프롬프트의 정확한 형식 또는 답변 선택의 형식과 순서에 따라 점수와 순위가 달라질 수 있습니다. MMLU 벤치마크를 사용하여 Pre-trained 모델의 Robustness를 다음 네 가지 측면에서 평가합니다.

1. Few-Shot 레이블 편향: 소수의 예제가 모두 같은 레이블을 가질 때(AAAA), 모든 예제가 다른 레이블을 가질 때(ABCD), 그리고 오직 두 개의 레이블만 존재할 때(AABB, CCDD)의 설정을 고려합니다.
2. 레이블 변형: 두 가지 다른 선택 토큰 셋에 대한 모델 반응을 연구합니다. 하나는 일반적인 언어 독립 토큰 셋이고, 다른 하나는 순서가 없는 드문 토큰 셋입니다. 또한, 표준 레이블(A. B. C. D. 및 A) B) C) D))과 숫자 목록(1. 2. 3. 4.)도 고려합니다.
3. 답변 순서: 다른 답변 순서에서 결과의 안정성을 계산합니다. 이를 위해 데이터셋의 모든 답변을 고정된 순열에 따라 재매핑합니다. 예를 들어, A B C D의 순열에 대해 A와 B 레이블의 답변 옵션은 그대로 유지하고, C 레이블의 모든 답변 옵션은 D로 바뀌고 그 반대의 경우도 마찬가지입니다.
4. 프롬프트 형식: 다섯 가지 다른 수준의 정보를 제공하는 작업 프롬프트에서 성능의 변동을 평가합니다. 한 프롬프트는 모델에게 단순히 질문에 답하도록 요청하는 반면, 다른 프롬프트는 모델의 전문성을 주장하거나 최선의 답변을 선택해야 한다고 언급합니다.

이런 실험 결과는 모델이 MCQ 레이블 변화와 Few-Shot 프롬프트 레이블의 구조 변화에 견고함을 보여줍니다. 이 Robustness은 특히 405B 파라미터 모델에서 두드러집니다.

5.1.3 적대적 벤치마크

TL;DR

• 적대적 벤치마크를 통해 질문 답변, 수학적 인퍼런스, 유사성 탐지 등 특정으로 도전적인 과제에서 모델의 능력을 평가합니다.
• Llama-3은 적대적 설정에서 일반 벤치마크 대비 상대적으로 낮은 성능을 보였지만, 이는 도전적인 벤치마크가 의도적으로 모델의 한계를 시험하기 위해 설계되었기 때문입니다.

Llama-3 모델은 문제 해결력과 벤치마크에 대한 오버피팅 가능성을 평가하기 위해 세 가지 영역(질문 응답, 수학적 인퍼런스, 문장 재구성 감지)에서 여러 적대적 벤치마크를 통해 평가되었습니다. 이 테스트는 특별히 도전적인 과제들로 모델의 능력을 탐구합니다.

• 질문 응답: Adversarial SQuAD (Jia and Liang, 2017) 및 Dynabench SQuAD (Kiela et al., 2021) 사용
• 수학적 인퍼런스: GSM-Plus (Li et al., 2024c) 사용
• 문장 재구성 감지: PAWS (Zhang et al., 2019) 사용

적대적 벤치마크의 점수들은 비적대적 벤치마크 성능과의 함수 관계로 제시됩니다.

비적대적 벤치마크로는 SQuAD (Rajpurkar et al., 2016)를 문제 해결, GSM8K를 수학적 인퍼런스, QQP (Wang et al., 2017)를 문장 재구성 감지에 사용하고, 각 데이터 포인트는 범주 내 모든 가능한 쌍을 나타내며, 대각선의 검은 선은 적대적 및 비적대적 데이터셋 간의 동등한 관계를 나타냅니다.

즉, 이 선상에 있다면 모델은 적대적 성격에 관계없이 전반적으로 유사한 성능을 나타내는 것으로 확인했습니다.

5.1.4 오염 분석

Pre-training 코퍼스의 평가 데이터 오염이 벤치마크 점수에 미치는 영향을 추정하기 위한 오염 분석을 수행했습니다. 이전 연구에서는 다양한 오염 방법과 하이퍼파라미터가 사용되었으며, 이에 대한 개요는 Singh et al. (2024)를 참조하였습니다. 이 방법들은 거짓 긍정 및 부정 결과를 낼 수 있으며, 오염 분석을 수행하는 최적의 방법은 여전히 연구 중입니다.

• 이 분석은 8-gram 중복을 사용하여 데이터셋의 오염을 판단하고, 오염된 데이터의 비율을 보고합니다.
• 다양한 데이터셋에서 오염의 영향은 상이하게 나타났으며, 특정 데이터셋에서는 높은 오염 추정치와 성능 향상 추정치가 관찰되었으나, SQuAD와 MATH 같은 경우 낮은 임계값에서 높은 오염 수준을 보이지만 성능 향상은 없었습니다.

[방법]

Singh et al. (2024)의 제안에 따라, 경험적으로 오염 감지 방법을 선택하고, ‘깨끗한’ 데이터셋 부분과 전체 데이터셋 간의 추정된 성능 향상에서 가장 큰 차이를 보이는 방법을 적용합니다.(퀄리티 컨트롤의 중요성) 모든 평가 데이터셋에 대해 8-gram 겹침을 기반으로 예제를 평가하며, 이 방법은 여러 데이터셋에서 정확하다고 밝혀졌습니다. 데이터셋 $D$가 오염되었다고 간주되는 경우, 해당 데이터셋의 토큰이 Pre-training 코퍼스에서 최소한 한 번 발생하는 8-gram의 일부일 때입니다. 각 데이터셋에 대해 최대의 유의미한 추정된 성능 향상을 보이는 $TD$ 값을 별도로 선택합니다.

Pile 및 Harness의 Decontamination과 유사

[데이터 퀄리티의 중요성 색인마킹]

[결과]

테이블 15에서는 최대 추정된 성능 향상에 대해 오염으로 간주된 평가 데이터의 비율을 보고합니다. 이 테이블에서는 결과가 유의미하지 않은 벤치마크는 제외되었습니다. 일부 데이터셋에서는 오염이 큰 영향을 미치는 반면, 다른 데이터셋에서는 그렇지 않습니다. 예를 들어, PiQA와 HellaSwag는 오염 추정 및 성능 향상 추정이 높지만, Natural Questions에서는 추정된 52%의 오염이 성능에 거의 영향을 미치지 않습니다. SQuAD와 MATH에서는 낮은 임계값이 높은 오염 수준을 초래하지만 성능 향상은 없습니다.

[Decontamination, 오염 보고 등 색인마킹]

이는 오염이 이 데이터셋들에 도움이 되지 않거나, 더 나은 추정을 얻기 위해 더 큰 표본이 필요함을 시사합니다.

MBPP, HumanEval, MMLU, 및 MMLU-Pro의 경우에는 다른 오염 감지 방법이 필요할 수 있습니다.

5.2 Post-trained LM

Llama-3의 Post-trained 모델의 벤치마크 결과를 여러 능력에 따라 제시합니다. Pre-training과 마찬가지로 평가 데이터를 Huggingface를 통해 공개하고 있습니다.

5.2.1 일반 지식 및 지시 사항 따르기 벤치마크

• 일반 지식: MMLU와 MMLU-Pro를 사용하여 지식 기반 질문 응답에서 Llama-3의 능력을 평가합니다. MMLU는 다양한 하위 작업의 평균 정확도를 보고하며, MMLU-Pro는 더 복잡한 인퍼런스 질문을 포함하고, 노이즈가 있는 질문을 제거하고 선택지를 넓힙니다.
• Instruction Following: IFEval을 사용하여 자연어 지시를 따르는 능력을 평가합니다. IFEval(Instruction Following Evalution)은 “400단어 이상으로 작성하라”와 같이 확인 가능한 지시사항을 포함하고 있으며, 엄격하고 유연한 기준으로 평균 정확도를 보고합니다.

5.2.2 자격증 시험

• 시험 벤치마크: GRE, LSAT, SAT, AP, GMAT 등 휴먼을 대상으로 한 다양한 자격증 시험을 사용하여 모델을 평가합니다. 각 시험의 평균 점수를 보고하며, MCQ 스타일과 생성형 질문을 포함합니다.

5.2.3 코딩 벤치마크

• 파이썬 코드 생성: HumanEval과 MBPP를 사용하여 파이썬 코드 생성을 평가합니다. 이 벤치마크는 간단한 독립적 기능에 초점을 맞추며, pass@N 메트릭을 사용하여 N개의 생성 중 단위 테스트를 통과하는 비율을 보고합니다.
• 다중 프로그래밍 언어 코드 생성: MultiPL-E 벤치마크를 사용하여 파이썬 이외의 다양한 프로그래밍 언어의 코드 생성 능력을 평가합니다.

5.2.4 다국어 벤치마크

• 다국어 지원: Llama-3은 8개 언어를 지원하며, 다국어 MMLU와 Multilingual Grade School Math 벤치마크를 사용하여 평가합니다. 각 언어에 대한 평균 결과를 보고합니다.

5.2.5 수학 및 인퍼런스 벤치마크

• 수학 및 인퍼런스: GSM8K, MATH, GPQA에서 Llama-3-8B 모델이 유사한 크기의 다른 모델들을 초과하는 성능을 보입니다. 70B 모델은 모든 벤치마크에서 향상된 성능을 나타냅니다.

5.2.6 긴 컨텍스트 벤치마크

• 긴 컨텍스트 태스크: Needle-in-a-Haystack과 같은 벤치마크를 사용하여 장문 문서에서 정보를 검색하는 능력을 평가합니다. Llama-3 모델은 모든 문서 깊이와 context length에서 완벽한 성능을 보여줍니다.

5.2.7 도구 사용 성능

도구 사용 벤치마크: Nexus, API-Bank, Gorilla API-Bench, Berkeley Function Calling Leaderboard를 사용하여 0-shot 도구 사용 능력을 평가합니다. 결과적으로 lama-3이 다양한 벤치마크와 능력에서 우수한 성능을 보이며, 특히 도구 사용 및 긴 컨텍스트 처리에서 강점을 가지고 있음을 보여줍니다.

5.3 휴먼 평가

표준 벤치마크 데이터셋뿐만 아니라, 모델의 미묘한 성능 측면을 측정하고 최적화하기 위해 여러 휴먼 평가도 수행합니다. 이런 평가는 모델의 어조, 장황함, 미묘한 문맥 이해 및 문화적 맥락을 반영하여 사용자 경험을 반영합니다.

[Human Eval, LM의 문화에 대한 이해 등 색인마킹]

• 프롬프트 수집: 7,000개가 넘는 고품질 프롬프트를 다양한 범주와 난이도로 수집했습니다. 이를 위해 가능한 한 많은 모델 능력을 포착하는 범주와 하위 범주로 분류 체계를 개발했습니다. 각 범주 내에서 프롬프트는 하위 범주별로 균등하게 분포되어 있으며, 난이도별로는 10%가 쉬운 프롬프트, 30%가 중간, 60%가 어려운 프롬프트로 구성됩니다.
• 평가 과정: 두 모델의 응답을 비교하여 휴먼 평가자가 어느 모델의 응답을 선호하는지 7점 척도로 평가합니다. 어느 한 모델의 응답이 더 낫다고 평가되면 해당 모델에게 “승리”를 부여합니다. 능력별로 승률을 보고합니다.

  [리커드 척도 색인마킹]

• 결과: Llama-3 405B 모델을 GPT-4, GPT-4o, Claude 3.5 Sonnet과 비교한 결과, Llama-3 405B는 GPT-4의 0125 API 버전과 비슷한 성능을 보였으며, GPT-4o 및 Claude 3.5 Sonnet과 비교하여 혼합 결과(일부 승리 및 일부 패배)를 보였습니다. 모든 능력에서 Llama-3과 GPT-4의 승률은 오차 범위 내에서 비슷했습니다. 다중 언어(힌디어, 스페인어, 포르투갈어) 프롬프트에서는 GPT-4보다 성능이 떨어졌지만, 영어 및 코딩 작업에서는 우수한 성능을 보였습니다.

[Meta LLaMA Human Eval 정성적 프롬프트 큐레이션 7000개(싱글턴, 멀티턴) - 색인마킹]

5.4 안전성(Safety)

Llama-3이 안전하고 책임감 있게 콘텐츠를 생성하면서도 유용한 정보를 최대화하는 능력을 평가하는 데 초점을 맞춥니다. 안전 작업은 Pre-training 단계에서 시작하여 데이터 정화 및 필터링 형태로 진행됩니다.

Safety와 관련해서 가장 현실적이며 이상적인 가드레일 아키텍처로 휴리스틱하게 인풋과 아웃풋 모두 거르고, 그 외 문맥상 ML 모델로 거르기 힘든 것(편견, 성차별 등)들은 모델 레벨에서 가드레일을 검.

*출처: https://ai.meta.com/blog/meta-llama-3/

[LLM Safety 가드레일 관련 핵심색인마킹]

• 안전 Post-training: 특정 안전 정책에 맞춰 모델을 훈련하는 방법에 대해 설명하며, 동시에 유용성을 유지하는 방법에 대해서도 논의합니다. Llama-3의 다양한 능력(다중 언어, 긴 컨텍스트, 도구 사용, 다양한 멀티모달 능력)을 분석하여 안전 조치의 효과를 측정합니다.
• 레드 티밍(Red Teaming)과 위험 평가: 다양한 안전 위험을 반복적으로 식별하고 대응하기 위해 레드 티밍을 활용하고, 잔여 위험 평가를 수행합니다.
• 시스템 수준 안전: 모델 입력과 출력 주변에 분류기를 개발하고 조정하여 안전성을 추가로 향상시키고, 개발자가 다양한 사용 사례에 맞게 안전을 사용자 정의하고 책임감 있는 방식으로 생성 AI를 배포할 수 있도록 합니다.
• 벤치마크 구축: 안전하고 책임감 있는 모델 개발을 돕기 위해 내부 벤치마크를 생성합니다. 이 벤치마크는 ML Commons의 위험 범주에서 영감을 받아 구성되었으며, 공격적인 프롬프트의 벤치마크를 통해 위반율을 측정합니다.

5.4.1 Benchmark Construction

TL;DR

• 다양한 내부 벤치마크를 개발하여 모델을 안전하고 책임감 있게 개발하도록 지원
• 벤치마크는 ML Commons의 위험 분류에서 영감을 받아 구성되며, 어드벤서리 프롬프트 및 경계선 프롬프트를 수집
• 4000개 이상의 프롬프트를 포함한 벤치마크를 통해 위반율과 거부 거짓율을 측정

Table 23 Examples of Adversarial Prompts from Our Internal Benchmarks Across All the Capabilities

[벤치마크 구축 상세]

Llama-3 모델 개발에 있어 언어 모델의 안전성을 확보하기 위해 여러 내부 벤치마크를 생성하였습니다. 이 벤치마크는 ML Commons의 위험 분류 체계에 근거하여, ToxiGen과 XS Test 같은 기존 벤치마크와는 달리, Llama-3의 새로운 기능에 대한 충분한 외부 벤치마크가 없어 그것을 보완하고자 합니다. 각 위험 카테고리별로 휴먼이 작성한 어드벤서리(적대적) 또는 경계선에 가까운 프롬프트를 수집합니다. 이런 프롬프트는 간단한 해로운 반응 유도부터 복잡한 탈옥 기술을 포함하는 경우까지 다양합니다.

어드벤서리 프롬프트에 대한 벤치마크는 위반율을 측정하는 기반을 형성하며, 경계선 프롬프트로 구성된 거부 거짓 벤치마크는 위반율에 대한 대조 지표로 활용됩니다. 거부 거짓은 모델이 유용한 방식으로 응답을 거부하는 경우를 말하며, 가능하고 안전한 응답이 있음에도 불구하고 발생합니다. 경계선 프롬프트는 잘 조정된 모델이 처리해야 할 결정 경계 근처의 프롬프트입니다. 전체 벤치마크는 각 능력이나 언어별로 4000개 이상의 프롬프트를 포함하며, 단일 턴과 멀티 턴 프롬프트가 혼합되어 있습니다.

[Meta LLaMA 벤치마크 프롬프트 큐레이션 4000개(싱글턴, 멀티턴) - 색인마킹]

5.4.2 Safety Pre-training

TL;DR

• 모델 개발과 배포의 모든 단계에서 책임 있는 개발을 고려
• 훈련 데이터에서 개인 식별 정보를 식별할 수 있는 웹사이트 필터 적용 및 기억 가능성 발견에 중점을 두고 Pre-training
• 다양한 시나리오에서 모델의 기억율을 측정하여 평균적인 기억율이 낮은 것을 확인

Table 24: Average Verbatim Memorization in Pre-trained Llama-3 for Selected Test Scenarios

[안전 Pre-training 세부 사항]

책임 있는 개발은 모델 개발의 모든 단계에서 고려되어야 하며, Pre-training 동안에는 특히 개인 식별 정보가 포함될 가능성이 있는 웹사이트를 식별할 수 있는 필터를 적용합니다. 또한, Nasr 등의 연구에 따라 발견된 기억 가능성에 중점을 두고 있습니다. Carlini 등의 방법을 차용하여, 훈련 데이터에서 발생 빈도에 따라 프롬프트와 진실을 샘플링하고, 모든 n-gram을 포함하는 효율적인 롤링 해시 인덱스를 사용합니다. 프롬프트와 진실의 길이, 타깃 데이터의 감지된 언어, 도메인을 다양하게 하여 다른 시험 시나리오를 구축합니다. 그 후 모델이 진실 시퀀스를 문자 그대로 생성하는 빈도를 측정하고, 지정된 시나리오에서의 기억율을 분석합니다. 진실 포함율 – 모델 생성물 중 진실 연속을 정확히 포함하는 비율 – 을 정의하고 데이터의 주어진 특성의 유병률에 따라 가중 평균을 보고합니다. Llama-2와 유사한 크기에서 동일한 방법을 적용하여 평균 기억율이 낮은 것을 확인했습니다. (50-gram에서 1.13%, 1000-gram에서 3.91%)

5.4.3 안전성 파인튜닝

Llama-3의 안전성 파인튜닝 접근 방식은 안전 교육 데이터와 위험 완화 기술, 두 가지 주요 측면을 포함합니다. 이 과정은 특정 안전 문제를 해결하기 위해 맞춤화된 변경사항을 도입하여 일반적인 파인튜닝 방법을 기반으로 구축됩니다. 주요 최적화 메트릭은 위반률(Violation Rate, VR)과 잘못된 거부율(False Refusal Rate, FRR)입니다. 동시에, 모델의 유용성에 대한 평가도 진행하여 안전성 개선이 전반적인 유용성을 저해하지 않도록 합니다.

• 파인튜닝 데이터

  안전 훈련 데이터의 품질과 설계는 성능에 큰 영향을 미칩니다. 광범위한 연구를 통해 품질이 양보다 중요하다는 것을 발견했습니다. 주로 휴먼이 생성한 데이터를 사용하지만, 특히 미묘한 안전 정책에 대해 오류와 일관성이 없을 수 있습니다. 최고 품질의 데이터를 보장하기 위해 AI 지원 주석 도구를 개발했습니다. 교묘한 프롬프트 뿐만 아니라 비슷한 프롬프트 집합인 경계선 프롬프트도 수집합니다. 이는 모델이 유용한 반응을 제공하도록 가르치는 데 도움이 됩니다.

• 안전 지도 학습

  Llama-2의 방법을 따라 모든 유용성 데이터와 안전 데이터를 모델 정렬 단계에서 결합합니다. 또한, 모델이 안전한 요청과 위험한 요청을 미묘하게 구분할 수 있도록 돕기 위해 경계선 데이터셋를 도입합니다. 주석 팀이 안전 프롬프트에 대해 가이드라인에 따라 반응을 세심하게 만들도록 지시합니다. SFT는 경계선 예제와 대립적 예제의 비율을 전략적으로 균형을 맞출 때 효과적입니다.

• 안전 DPO

  선호 데이터셋에 적대적 및 경계선 예제를 포함하여 안전 학습을 강화합니다. 반응 쌍을 임베딩 공간에서 거의 직교적으로 만드는 것이 특히 효과적입니다. 이를 통해 모델이 주어진 프롬프트에 대한 좋고 나쁜 반응을 구별하는 법을 배울 수 있습니다.

[Anthropic Safety DPO 데이터셋 관련 링크]

5.4.4 안전성 결과

이 섹션에서는 Llama-3 모델의 다양한 축에 따른 일반적인 행동을 강조하고, 각각의 새로운 기능과 안전 위험 완화 효과에 대한 결과를 설명합니다.

[데이터셋 및 벤치마크 종류]

Llama-3 모델은 다양한 언어에 대해 안전 위반율(Violation Rate, VR)과 거짓 거부율(False Refusal Rate, FRR)을 측정합니다. 사용된 데이터셋은 다국어 단문 컨텍스트 벤치마크를 포함하며, 이는 다음과 같은 언어로 구성됩니다. 영어, 프랑스어, 독일어, 힌디어, 이탈리아어, 포르투갈어, 스페인어, 태국어. 각 언어에 대한 VR과 FRR은 Figure 19에서 비교됩니다.

이 데이터는 Llama-3의 안전성과 유용성 사이의 균형을 측정하는 데 사용됩니다.

[사용된 주요 방법 및 수학적 모델]

모델은 시스템 수준의 보호 장치인 LlamaGuard를 포함하여 평가되었습니다. 아래 수식은 각 모델의 VR과 FRR을 계산하는 데 사용되는 기준을 설명합니다.

안전 데이터의 분포와 언어별 특성이 성능에 중요한 영향을 미치는 것으로 나타났습니다. 일부 언어는 전이 학습의 이점을 보았지만, 다른 언어는 더 많은 언어 특화 데이터가 필요했습니다.

[문제 해결 방법 및 실험 결과]

Llama-3은 긴 컨텍스트 모델에서 많은 수의 입력 예시를 받는 상황에 취약했으며, 특히 다수의 입력을 받았을 때의 안전 위반을 줄이기 위해 특정 완화 전략이 개발되었습니다. 이를 위해 안전한 행동 예시를 포함한 SFT 데이터셋에서 모델을 파인튜닝했습니다.

다음은 긴 컨텍스트 안전 완화를 위한 효과를 정량화하는 데 사용된 두 가지 추가 벤치마킹 방법입니다.

• DocQA: 문서 질의 응답 벤치마크로 긴 문서와 관련된 프롬프트를 사용하여 모델이 문서의 정보를 안전하게 활용할 수 있는지 평가합니다.
• Many-shot: 다수의 입력을 받은 후, 관련 없는 최종 프롬프트에 대한 모델의 반응을 평가하여 컨텍스트 내에서의 안전 위반 영향을 테스트합니다.

DocQA 및 Many-shot에 대한 VR 및 FRR: Figure 20 참조

[툴 사용 안전성]

툴 사용의 다양성과 모델 통합 과정에서의 챌린지를 고려하여, 검색 사용 사례에 초점을 맞추어 테스트를 수행했습니다. VR과 FRR은 Figure 20에서 제시됩니다. Llama-3 모델은 비교 시스템 대비 높은 안전성을 유지하면서 약간 높은 거짓 거부율을 보였습니다.

Llama-3 모델은 다양한 언어 및 기능 벤치마크를 통해 경쟁 모델과 비교하여 경쟁력 있는 위반율 지표를 달성하면서 거짓 거부율을 낮게 유지함으로써 안전성과 유용성 사이의 견고한 균형을 보여줍니다. 이런 결과는 언어별 안전 정책의 미묘함과 언어별 컨텍스트를 고려할 때 특히 중요합니다.

5.4.5 사이버보안 및 화학/생물학적 무기 안전성

[사이버보안 평가 결과]

Llama-3의 사이버보안 위험을 평가하기 위해 CyberSecEval 벤치마크 프레임워크(Bhatt et al., 2023, 2024)를 활용합니다. 이 프레임워크는 불안전한 코드 생성, 악의적 코드 생성, 텍스트 프롬프트 주입, 취약점 식별 등 여러 도메인에서의 안전성을 측정하는 작업을 포함합니다. 스피어 피싱 및 자율 사이버 공격과 같은 새로운 벤치마크에 Llama-3을 적용했습니다. 전반적으로, Llama-3은 악의적 코드 생성이나 취약점을 악용하는 데에 유의미한 취약성을 보이지 않습니다.

• 불안전한 코딩 테스트 프레임워크: Llama-3 8B, 70B, 405B 모델을 평가한 결과, 큰 모델일수록 더 많은 불안전한 코드를 생성하며, 평균 BLEU 점수도 높게 나타났습니다(Bhatt et al., 2023).
• 코드 인터프리터 남용 프롬프트 코퍼스: 특정 프롬프트 하에서 Llama-3 모델들은 악의적 코드를 실행하는 경향이 있으며, 특히 Llama-3 405B는 10.4%의 경우에 악의적 프롬프트를 수행했습니다.
• 텍스트 기반 프롬프트 주입 벤치마크: Llama-3 405B는 프롬프트 주입 공격에 21.7%의 비율로 취약했습니다.
• 취약점 식별 과제: Llama-3은 CyberSecEval 2의 캡처 더 플래그 테스트 과제를 사용하여 취약점을 식별하고 악용하는 능력을 평가했으나, 일반적으로 사용되는 비LLM 도구 및 기술보다 뛰어나지 않았습니다.
• 스피어 피싱 벤치마크: 모델의 설득력과 보안 타협에 무의식적으로 참여하도록 대상을 속이는 맞춤형 대화의 성공률을 평가했습니다. Llama-3 70B는 스피어 피싱 시도의 24%에서 성공적이었으며, Llama-3 405B는 14%에서 성공적이었습니다.

[사이버 공격 자동화 프레임워크]

Llama-3 405B의 랜섬웨어 공격의 네 가지 주요 단계에서 자율적 에이전트로서의 잠재력을 평가합니다. 모델은 이전 명령의 출력에 반응하여 새로운 Linux 명령을 반복적으로 생성하고 실행하도록 설정되었습니다. 네트워크 서비스 및 오픈 포트를 효율적으로 식별했지만, 이 정보를 이용해 취약한 기계에 초기 접근을 얻는 데 실패했습니다. 취약점 식별에서는 중간 수준의 효과를 보였으나, 성공적인 악용 기법 선택과 적용에 어려움을 겪었습니다.

[화학 및 생물학적 무기에 대한 업리프트 테스트]

Llama-3을 사용한 화학 및 생물학적 무기 공격 계획의 역량 증대 가능성을 평가하기 위해 업리프트 테스트를 수행했습니다. 이 테스트는 참가자들이 가상의 작전 계획을 생성하도록 요구하는 6시간 시나리오로 구성되어 있습니다. 이 시나리오들은 CBRNE 공격의 주요 계획 단계를 다루며, 참가자들은 과학적 또는 운영적 전문성을 바탕으로 팀을 구성하여 진행했습니다. 통제 그룹은 인터넷 기반 자원에만 접근할 수 있었으며, LLM 활성화 팀은 Llama-3 모델과 함께 인터넷 접근 권한을 부여받았습니다. 이 연구의 결과는 Llama-3 모델의 사용이 생화학적 또는 화학적 무기 공격과 관련된 생태계 위험을 증가시키지 않는다는 점을 보여줍니다.

5.4.6 레드 티밍

레드 티밍을 통해 위험을 발견하고, 이런 발견을 벤치마크와 안전 조정 데이터셋 개선에 활용합니다. 지속적인 레드 티밍 활동을 통해 새로운 위험을 지속적으로 탐색하고, 이를 모델 개발 및 완화 과정에 반영합니다.

[구성]

레드 팀은 사이버보안, 적대적 머신러닝, 책임 있는 AI, 진실성뿐만 아니라 특정 지역 시장의 무결성 문제에 밝은 다국어 콘텐츠 전문가들로 구성됩니다. 또한, 핵심 위험 영역의 내부 및 외부 전문가와 파트너십을 맺어 위험 분류 체계를 구축하고 보다 집중적인 적대적 평가를 지원합니다.

[적대적 테스팅]

초기 레드 팀 활동은 고위험 카테고리별 개별 모델 기능에 초점을 맞춘 위험 발견 과정에서 시작되었습니다. 이후 특정 기능을 함께 테스트합니다. 레드 팀은 더 현실적인 시나리오를 모방하기 위해 프롬프트 수준 공격에 집중했습니다. 모델은 종종 예상치 못한 행동을 보이는데, 특히 프롬프트의 의도가 숨겨지거나 여러 추상화가 겹쳐질 때 이런 현상이 나타납니다.

1. 일반적 적대적 테스팅
   • 초기 레드 티밍은 개별 모델 기능에 초점을 맞추어 위험 발견 과정을 수행합니다.
   • 특정 고위험 범주 내에서 모델의 기능을 함께 테스트합니다.
   • 모델이 예상치 못한 행동을 보일 때, 특히 프롬프트의 의도가 가려지거나 여러 추상화가 겹쳐질 때 위험이 복잡해집니다.
2. 영어 대화 (단문 및 장문)
   • 단일 및 다중 턴 대화에서 잘 알려진 기술과 비공개 기술을 혼합하여 사용합니다.
   • 다중 턴 대화는 더 해로운 출력을 유발하며, 특히 다음과 같은 기법이 사용됩니다.
     • 다중 턴 거부 억제
     • 가상 시나리오
     • 역할 연기 및 페르소나 설정
     • 멀티턴 대화에서의 서서히 증가하는 위반
3. 다국어
   • 여러 언어를 혼합하여 사용할 때 단일 언어 사용보다 더 해로운 출력을 쉽게 유발합니다.
   • 자원이 부족한 언어는 안전한 세부 조정 데이터가 부족하여 위반 출력을 유발할 수 있습니다.
   • 특정 문맥이나 문화 특유의 참조가 모델에 혼란을 줄 수 있으나, 모델이 참조를 정확히 이해하지 못해 실제 해를 끼치지는 않을 수 있습니다.
4. 도구 사용
   • 영어 텍스트 수준의 적대적 프롬프팅 기술 외에도 특정 도구 공격이 발견되었습니다.
     • 불안전한 도구 연결
     • 도구 사용 강제
     • 도구 사용 파라미터 수정
5. 어린이 안전 위험
   • 어린이 안전 위험 평가를 전문가 팀이 수행하여, 모델이 어린이 안전 위험을 초래할 수 있는 출력을 생성할 수 있는지 평가합니다.
   • 이런 전문가 레드 팀 세션을 활용하여 모델 개발을 통해 평가 벤치마크의 범위를 확장합니다.

5.4.7 시스템 수준 안전

[시스템 통합 및 안전 구현]

실제 환경에서 대규모 언어모델은 독립적으로 사용되지 않고 더 넓은 시스템에 통합됩니다. 이런 통합을 통해 모델 수준의 완화를 보완하고 더 큰 유연성과 제어를 제공합니다. 이를 위해 ‘Llama Guard 3’라는 새로운 분류기를 개발하여 출시하였습니다. 이는 Llama-3 8B 모델을 기반으로 안전 분류를 위해 파인튜닝된 것으로, 입력 프롬프트 및 출력 응답이 특정 유해 카테고리의 안전 정책을 위반하는지 감지하는 데 사용됩니다.

[다양한 언어와 도구 지원]

Llama Guard 3는 영어와 다국어 텍스트를 지원하며, 검색 도구 사용과 코드 인터프리터 남용을 방지하는 등의 도구 호출 컨텍스트에서 최적화되어 사용됩니다. 또한 메모리 요구 사항을 줄이기 위해 양자화된 변형을 제공합니다.

[위험 분류 및 훈련 데이터]

13가지 위험 범주(AI Safety taxonomy에 의거)에 대해 훈련을 실시하였으며, 이는 다음을 포함합니다. 아동 성 착취, 명예 훼손, 선거, 혐오, 무차별 무기, 지적 재산, 비폭력 범죄 등. 또한, 도구 호출 사례를 지원하기 위해 코드 인터프리터 남용 범주에 대해서도 훈련합니다. 훈련 데이터는 Llama Guard의 기존 영어 데이터에서 시작하여, 새로운 기능을 통합하기 위해 확장되었습니다.

[성능 개선과 결과]

수집된 샘플을 휴먼 및 LLM의 주석을 통해 광범위하게 정제하여 Llama Guard 3의 성능을 향상시켰습니다. Llama Guard 3는 벤치마크에서 평균적으로 -65%의 위반 감소를 보여주며, 시스템 안전 장치 추가는 양호한 프롬프트에 대한 거부 증가라는 비용이 수반됩니다.

[시스템 안전의 유연성]

Llama Guard 3는 특정 해를 입히는 데만 배포될 수 있으며, 해 범주 수준에서 위반과 거부 거래를 제어할 수 있습니다. 이는 개발자가 사용 사례에 따라 카테고리를 켜고 끌 수 있게 하여, 안전 시스템을 쉽게 배포할 수 있도록 지원합니다.

[프롬프트 기반 시스템 보호]

시스템 수준의 안전 구성 요소는 개발자가 LLM 시스템이 사용자 요청에 어떻게 응답하는지 사용자 정의하고 제어할 수 있게 합니다. ‘Prompt Guard’와 ‘Code Shield’라는 두 가지 프롬프트 기반 필터링 메커니즘을 설명하고 출시하여, 커뮤니티가 그대로 사용하거나 영감을 받아 자신의 사용 사례에 맞게 조정할 수 있도록 합니다.

이 표는 다양한 안전 카테고리에 대해 Llama Guard 3를 입력 또는 출력 필터링에 사용할 때 Llama-3 대비 위반율과 거짓 거부율을 나타냅니다. 예를 들어, 위반율(VR)이 -50%라는 것은 Llama Guard를 사용할 때 Llama-3 모델 위반율이 50% 감소했다는 의미입니다. 평가는 405B 파라미터 Llama-3 모델의 영어 프롬프트와 생성에 대해 수행되었으며, 낮을수록 더 좋음을 의미합니다.

Llama Guard 3의 출력 분류 성능에 대한 Int8 Quantized의 영향을 다양한 모델 능력에 따라 보여줍니다.

5.4.8 한계점

• 위험 분석 및 완화 조치
• 악의적 사용의 가능성
• 지속적인 개선과 개방성 필요

6. 인퍼런스

TL;DR

• 파이프라인 병렬성 및 FP8 양자화: 인퍼런스 효율성 증진을 위한 두 가지 방식을 적용
• 비전 실험: 이미지 및 비디오 데이터를 활용한 비주얼 인식 기능 구현
• 데이터 및 모델 아키텍처: 다양한 데이터셋 활용 및 복합적 모델 구조 설계

6.1 파이프라인 병렬성

Llama-3 405B 모델은 단일 기계의 GPU 메모리에 맞지 않기 때문에, 두 대의 기계에 걸쳐 16개의 GPU를 사용하여 BF16 Precision로 모델 인퍼런스를 병렬 처리합니다. 이런 구성은 텐서 병렬성을 가능하게 하며, 노드 간 저대역폭과 높은 지연 시간을 고려하여 파이프라인 병렬성을 적용합니다. 인퍼런스 시 마이크로 배치를 사용하여 처리량을 향상시키며, 이로 인해 동기화 지점이 추가되어 지연 시간은 증가하지만 전체적으로 처리량-지연 시간의 트레이드오프가 개선됩니다.

6.2 FP8 양자화

FP8 양자화를 적용하여 저Precision 인퍼런스를 수행합니다. 모델 내 대부분의 매트릭스 곱셈에서 파라미터와 활성화를 양자화하며, 특히 피드포워드 네트워크 계층에서 이를 적용합니다. 동적 스케일링 팩터를 사용하여 양자화 오류의 영향을 최소화하고, 양자화에 따른 모델의 응답 품질에 미치는 영향을 분석합니다.

[실험 설정 및 양자화 접근 방법]

H100 GPU의 FP8 네이티브 지원을 활용하여 저정밀 인퍼런스를 수행하는 실험을 진행했습니다. 저정밀 인퍼런스를 가능하게 하기 위해, 모델 내 대부분의 행렬 곱셈에 FP8 양자화를 적용했습니다. 특히, 인퍼런스 계산 시간의 약 50%를 차지하는 피드포워드 네트워크 레이어의 대부분의 파라미터와 활성화를 양자화했습니다. 모델의 셀프-어텐션 레이어의 파라미터는 양자화하지 않았습니다. 동적 스케일링 요소를 활용하여 정확도를 향상시키기 위해 CUDA 커널을 최적화하여 스케일 계산의 오버헤드를 줄였습니다(Xiao et al., 2024b).

[양자화에서의 추가 변경 사항]

Llama-3 405B의 품질은 특정 양자화 유형에 민감하므로 모델 출력 품질을 향상시키기 위해 몇 가지 추가 변경을 수행했습니다.

1. Zhang et al. (2021)과 유사하게, 첫 번째 및 마지막 트랜스포머 레이어에서는 양자화를 수행하지 않습니다.
2. 날짜와 같이 복잡성이 높은 토큰은 큰 활성화 값을 유발할 수 있습니다. 이는 FP8에서 높은 동적 스케일링 요소로 이어져 디코딩 시 오류를 발생시킬 수 있는 하위 흐름 수를 증가시킵니다. 이 문제를 해결하기 위해 동적 스케일링 요소를 1200으로 상한 설정합니다.
3. 파라미터와 활성화 행렬의 행별로 스케일링 요소를 계산하는 행별 양자화(Row-wise Quantization)를 사용합니다. (Figure 25 참조) 이 방식은 텐서별 양자화 접근 방식보다 더 효과적으로 작동하는 것으로 나타났습니다.

[Meta - LLaMA-3 양자화(Row-wise Quantization), 안정성, 시행착오 관련 색인마킹]

[양자화 오류의 영향]

표준 벤치마크 평가는 때때로 FP8 인퍼런스이 이런 완화 조치 없이도 BF16 인퍼런스과 동등하게 수행됨을 제안하지만, FP8 양자화의 영향을 적절히 반영하지 못합니다. 스케일링 요소가 상한 설정되지 않은 경우, 벤치마크 성능이 강함에도 불구하고 모델이 때때로 오염된 응답을 생성할 수 있습니다. 양자화로 인한 분포 변화를 측정하기 위해 벤치마크에 의존하는 대신, FP8과 BF16을 사용하여 생성된 100,000개의 응답에 대한 보상 모델 점수 분포를 분석하는 것이 더 좋습니다. (Figure 26 참조)

Figure의 결과는 FP8 양자화 접근 방식이 모델 응답에 제한적인 영향을 미친다는 것을 보여줍니다.

[효율성 평가 실험]

Figure 27은 Llama-3 405B를 사용하여 입력 토큰 4,096개, 출력 토큰 256개로 FP8 인퍼런스를 수행할 때의 처리량-지연 트레이드오프를 보여줍니다. 이 Figure은 섹션 6.1에서 설명한 두 기계 BF16 인퍼런스 접근 방식과 FP8 인퍼런스의 효율성을 비교합니다. 결과는 FP8 인퍼런스 사용이 전처리 단계에서 최대 50%의 처리량 향상을 가져오고, 디코딩 동안 훨씬 나은 처리량-지연 트레이드오프를 제공한다는 것을 보여줍니다.

<추가 섹션: 비전으로의 확장 검토>

TL;DR

비전 데이터 (7.1 참조)

모델 아키텍처 (7.2 참조)

모델 스케일링 (7.3 참조)

Pre-training (7.4 참조)

Post-training (7.5 참조)

7. 비전 실험

7.1 데이터

7.1.1 이미지 데이터

이미지 데이터는 복잡한 데이터 처리 파이프라인을 통해 구축되며, 품질 필터링, 지각적 중복 제거, 리샘플링 및 광학 문자 인식(OCR)이 포함됩니다. 데이터 안전성을 확보하기 위해 CSAM과 NSFW 콘텐츠를 식별 및 제거하며, 이미지에 얼굴 흐림 처리를 적용합니다.

7.1.2 비디오 데이터

비디오 데이터는 텍스트와의 일치성을 확보하기 위해 다단계 필터링 프로세스를 거칩니다. 비디오는 평균적으로 21초 길이로, 공간 해상도가 다양하며, 동적인 비디오 데이터의 특성을 반영하여 모델 학습에 사용됩니다.

7.2 모델 아키텍처

모델은 이미지 인코더, 이미지 어댑터 및 비디오 어댑터로 구성됩니다. 이미지 인코더는 ViT-H/14를 사용하며, 크로스 어텐션 레이어를 통해 언어 모델과 시각적 토큰을 연결합니다. 비디오 어댑터는 비디오 프레임을 집계하고 시간적 구조를 모델링하는 데 사용됩니다.

파이프라인 병렬성의 효율성 수식 (\(N_{\text{micro-batch}}\)는 마이크로 배치의 수, \(T_{\text{exec}}\)는 실행 시간, \(T_{\text{pipeline}}\)은 파이프라인 처리 시간, \(T_{\text{sync}}\)는 동기화 시간을 의미)

FP8 양자화 수식

\(x\)는 입력 값, \(Q(x)\)는 양자화된 값, \(S\)는 스케일링 팩터, \(\epsilon\)은 작은 상수로 설정됩니다. 이 수식은 양자화 과정에서 동적 스케일링 팩터를 적용하여 Precision 손실을 최소화하고, 디코딩 시 오류를 줄이기 위해 설계되었습니다.

[Image Encoder]

• 모델 유형: Vision Transformer (ViT-H/14)
• 파라미터 수: 초기 630M, 추가 계층으로 총 850M
• 훈련 데이터: 2.5B 이미지-텍스트 쌍
• 훈련 epoch: 5 epoch
• 이미지 해상도: 224 × 224, 16 × 16 패치로 분할 (각 패치 14x14 픽셀)
• 피쳐 추출: 4, 8, 16, 24, 31번째 레이어에서의 멀티 레이어 피쳐와 최종 레이어 피쳐 제공
• 추가 계층: 8개의 게이트 self-attention(gated self-attention) 레이어 포함
• 출력: 각 패치당 7680차원 표현 생성

[Image Adapter]

• 크로스-어텐션 계층: 이미지 인코더에서 생성된 시각적 토큰 표현과 언어 모델에서 생성된 토큰 표현 사이에 배치
• 파라미터 수: 약 100B
• 효율성 증진을 위한 기술: Generalized Query Attention (GQA)
• 훈련 단계:
  1. 초기 Pre-training (Initial Pre-training): 약 6B 이미지-텍스트 쌍, 이미지는 최대 336 × 336 픽셀로 조정
  2. 후속 훈련 (Annealing): 약 500M 이미지로 더 높은 해상도에서 훈련 계속

[Video Adapter]

• 입력 프레임: 최대 64 프레임, 각 프레임은 이미지 인코더를 통해 처리
• 시간적 구조 모델링: 비디오 프레임을 32개씩 통합하여 하나의 프레임 생성
• 크로스 어텐션 계층: 모든 네 번째 이미지 크로스 어텐션 계층 이전에 추가
• 파라미터 수: Llama-3 7B 모델에서 0.6B, 70B 모델에서 4.6B
• Pre-training: 비디오 Pre-training 중 16개의 프레임을 사용하여 초기화, 감독된 훈련 동안 입력 프레임 수를 64로 증가

7.3 모델 스케일링

• 데이터 및 텐서 병렬화: 8B 및 70B 파라미터 모델을 위한 어댑터 훈련에 효율적
• 파이프라인 병렬화: 405B 파라미터 모델 어댑터 훈련 시 추가 사용
• 챌린지
  1. 모델 이질성 (Model Heterogeneity): 이미지 토큰과 텍스트 토큰 처리의 불균형 해결
  2. 데이터 이질성 (Data Heterogeneity): 이미지와 텍스트 간 토큰 수 차이 해결
  3. 수치적 불안정성 (Numerical Instabilities): gradient 축적을 FP32로 수행하여 해결

7.4 Pre-training

• 이미지: 6B 이미지-텍스트 쌍으로 훈련, 전역 배치 크기 16,384, 코사인 일정한 learning rate 사용
• 비디오: 이미지 Pre-training 및 단계 조정 후 비디오 특화 파라미터에 대한 훈련

7.5 Post-training

• 다중 모드 대화 데이터를 사용한 파인튜닝: 휴먼 평가 성능 향상을 위한 직접 선호도 최적화(Direct Preference Optimization, DPO) 및 거부 샘플링 적용
• 품질 조정 단계: 고품질 대화 데이터를 사용한 추가적인 파인튜닝으로 휴먼 평가 성능을 더욱 향상

7.5.1 SFT Dataset

[이미지]

• 학술 데이터셋: 기존 학술 데이터셋에서 필터링된 질문-답변 쌍으로 변환, LLM을 통해 언어 품질과 지시 사항 다양화 강화
• 휴먼 주석: 다양한 작업(오픈 엔드 질문-답변, 캡셔닝, 실용적 사례 등)을 위한 멀티모달 대화 데이터 수집, 다양성 보장을 위해 대규모 데이터셋을 클러스터링하고 샘플링
• 합성 데이터: 텍스트 입력 LLM을 사용하여 이미지의 텍스트 표현을 합성 멀티모달 데이터로 전환, 예를 들어 질문-답변 데이터셋의 텍스트를 이미지로 렌더링하거나 표 데이터를 합성 이미지로 변환

[비디오]

• 학술 데이터셋 활용: 이미 설명된 이미지 어댑터와 유사하게, 주석이 달린 학술 데이터셋을 적절한 텍스트 지시사항과 목표 응답으로 변환
• 휴먼 주석: 한 프레임만으로 답변할 수 없는 질문에 초점을 맞춰 시간적 이해가 필요한 질문으로 유도

7.5.2 Supervised Learning 레시피

[이미지]

• 초기화: Pre-trained 이미지 어댑터에서 시작하나, Pre-trained 언어 모델의 가중치를 지시 튜닝된 언어 모델의 가중치로 교체
• 하이퍼파라미터 스윕: 데이터의 다양한 랜덤 하위 집합을 사용하여 학습률과 가중치 감쇠 값에 대한 스윕 실행, 성능 기준으로 모델 순위 매김

[비디오]

• 초기화: 비디오 어그리게이터와 크로스 어텐션 계층을 Pre-trained 가중치로 초기화
• 파인튜닝: 비디오 SFT 데이터에서만 비디오 파라미터를 파인튜닝, 비디오 길이를 64 프레임으로 증가

7.5.3 선호도 데이터

• 휴먼 주석: 두 가지 다른 모델 출력 간 비교, “choosen”과 “rejected”으로 레이블링
• 합성 데이터: 텍스트 전용 LLM을 사용하여 감독 training dataset셋에 고의적인 오류를 도입하여 합성 선호도 쌍 생성

7.5.4 보상 모델링

• 비전 보상 모델(RM): 비전 SFT 모델과 언어 RM 위에 훈련, 비전 인코더와 크로스 어텐션 계층은 훈련 동안 언어 RM은 고정
• 훈련 목표: 언어 RM과 동일한 훈련 목표 적용, 배치 당 보상 로짓의 제곱에 가중치를 두는 정규항을 추가하여 보상 점수의 변동 방지

7.5.5 직접 선호 최적화

직접 선호 최적화(DPO): 선호도 데이터를 사용하여 비전 어댑터 추가 훈련, 분포 이동을 막기 위해 최근 배치의 휴먼 선호도 주석만 유지

7.5.6 거부 샘플링

접근 방식: 모델에서 고품질 생성물을 반복적으로 샘플링하여, 선택되지 않은 생성물을 부정적 거부 샘플로 활용

7.5.7 품질 튜닝

품질 튜닝(QT): 높은 품질의 SFT 데이터셋을 사용하여 DPO 모델 훈련, 벤치마크를 기준으로 단계를 선택하여 기능 유지 및 개선 확인

7.6 이미지 인식 결과

Llama-3는 자연 이미지 이해, 텍스트 이해, 차트 이해 및 멀티모달 인퍼런스를 포함해 이미지 이해 능력을 다양한 작업에 대해 평가합니다. Llama-3-V 405B 모델을 사용하여 모든 벤치마크에서 GPT-4V를 능가하는 성과를 보였으며, Gemini 1.5 Pro 및 Claude 3.5 Sonnet에는 약간 못 미치는 성능을 보였습니다. 특히 문서 이해 작업에서 경쟁력이 높았습니다.

• (1) MMMU (Yue et al., 2024a)

  선택형 및 개방형 질문을 포함하며, 검증 데이터셋에서 900개의 이미지로 구성된 30개의 다양한 학문 분야에 걸친 대학 수준 문제를 해결할 수 있는 능력을 평가하는 멀티모달 인퍼런스를 평가하기 위한 데이터셋

• (2) VQAv2 (Antol et al., 2015)

  자연 이미지에 대한 일반적인 질문에 답변하기 위해 이미지 이해, 언어 이해 및 상식을 결합하는 모델의 능력을 테스트합니다.

• (3) AI2 Diagram (Kembhavi et al., 2016)

  Gemini와 x.ai와 동일한 평가 프로토콜을 사용하며, 투명한 경계 상자를 사용하여 점수를 보고하고, 과학과 관련된 다이어그램을 파싱하고 관련된 질문에 답하는 모델의 능력을 평가합니다.

• (4) ChartQA (Masry et al., 2022)

  다양한 종류의 차트를 시각적으로 이해하고 차트에 대한 논리적 질문에 답하는 능력을 평가하는 벤치마크입니다.

• (5) TextVQA (Singh et al., 2019)

  모델의 OCR 이해 능력을 테스트하기 위해 모델이 이미지 속 텍스트를 읽고 이해하여 관련 질문에 답하는 능력을 평가하는 유명한 벤치마크 데이터셋입니다.

• (6) DocVQA (Mathew et al., 2020)

  문서 분석 및 인식에 초점을 맞춘 벤치마크 데이터셋으로, 다양한 문서 이미지를 포함하며 모델이 OCR 이해 및 문서 내용에 대해 인퍼런스하여 질문에 답하는 능력을 평가합니다.

7.7 비디오 인식 결과

Llama-3의 비디오 어댑터는 세 가지 벤치마크에서 평가되었습니다. Llama-3은 비디오 인식 작업에서 특히 우수한 성능을 보여주며, 8B 및 70B 파라미터 모델에서 복잡한 시간적 인퍼런스를 수행하는 능력이 탁월함을 나타냅니다. ActivityNet-QA와 같은 장기 활동 이해 작업에서도 강력한 결과를 얻었으며, 3분 길이 비디오에서 64 프레임만 처리함에도 불구하고 향상된 성능을 보였습니다.

• (1) PerceptionTest (Pătrăucean et al., 2023)

  기억, 추상, 물리, 의미론 등 다양한 유형의 인퍼런스 능력과 함께 시간적 인퍼런스 질문에 답할 수 있는 모델의 능력을 평가합니다. 평균적으로 23초 길이의 비디오로 구성된 11.6K의 테스트 QA 쌍을 포함하며, 다양한 참가자가 촬영한 시각적으로 흥미로운 작업을 보여줍니다.

• (2) NExT-QA (Xiao et al., 2021)

  시간적 및 인과 인퍼런스에 초점을 맞춘 또 다른 벤치마크로, 평균 44초 길이의 1K 테스트 비디오와 9K 질문으로 구성됩니다. Wu-Palmer Similarity (WUPS)를 사용하여 모델의 응답과 기준 답안을 비교하여 평가합니다.

• (3) TVQA (Lei et al., 2018)

  공간적-시간적 위치 파악, 시각적 개념 인식, 자막 기반 대화와의 결합 인퍼런스 능력을 평가합니다. 유명한 TV 쇼에서 파생된 이 데이터셋은 모델이 해당 TV 쇼에 대한 외부 지식을 활용하여 질문에 답하는 능력을 추가로 테스트합니다.

• (4) ActivityNet-QA (Yu et al., 2019)

  긴 비디오 클립을 이해하고 행동, 공간 관계, 시간 관계, 계수 등에 대해 인퍼런스하는 모델의 능력을 평가합니다. 800개의 비디오에서 8K 테스트 QA 쌍을 포함하며, 평가는 모델이 생성한 짧은 단어나 구를 GPT-3.5 API를 사용하여 기준 답안과 비교하여 정확도를 평가합니다.

<추가 섹션: 음성으로의 확장 검토>

TL;DR

음성 이해 훈련 (8.3.1 참조)

음성 생성 훈련(8.3.2 참조)

8. 음성 실험

Llama-3 모델에 음성 기능을 통합하기 위해 비주얼 인식과 유사한 구성적 접근 방식을 실험합니다. 입력 측면에서는 음성 신호를 처리하기 위해 인코더와 어댑터를 통합합니다. 시스템 프롬프트(텍스트로)를 사용하여 Llama-3의 음성 이해 모드를 활성화합니다. 시스템 프롬프트가 제공되지 않으면 모델은 일반적인 목적의 음성 대화 모델로 작동하여 사용자의 음성에 일관되게 응답합니다. 대화 기록은 프롬프트 접두사로 도입되어 다차례 대화 경험을 향상시킵니다. 또한 Llama-3을 자동 음성 인식(ASR) 및 자동 음성 번역(AST)에 사용할 수 있도록 하는 시스템 프롬프트도 실험합니다. Llama-3의 음성 인터페이스는 34개 언어를 지원하며, 텍스트와 음성의 교차 입력을 허용하여 오디오 이해 작업을 해결할 수 있습니다.

또한, 언어 모델 디코딩 중에 실시간으로 음성 파형을 생성하는 스트리밍 텍스트-투-스피치(TTS) 시스템을 구현하는 음성 생성 접근 방식을 실험합니다. Llama-3의 음성 생성기는 독점 TTS 시스템을 기반으로 설계되었으며, 음성 생성을 위한 언어 모델의 파인튜닝은 수행하지 않고 인퍼런스 시 Llama-3 임베딩을 활용하여 음성 합성의 지연, 정확성 및 자연스러움을 개선하는 데 중점을 둡니다. 음성 인터페이스는 Figure 28과 29에서 설명합니다.

8.1 데이터

8.1.1 음성 이해

• Pre-training 데이터: 대량의 레이블이 없는 음성을 포함하며, 음성 인코더를 자기감독 방식으로 초기화하는 데 사용됩니다. VAD 모델을 사용하여 오디오 데이터를 필터링하고 VAD 임계값이 0.7 이상인 오디오 샘플을 Pre-training에 선택합니다.
• 파인튜닝 데이터: 음성 인식, 음성 번역, 음성 대화 데이터를 포함하며, 큰 언어 모델과 통합될 때 특정 능력을 활성화하는 데 사용됩니다.

8.1.2 음성 생성

• 텍스트 정규화(TN) 및 음성학 모델(PM): TN 모듈은 쓰여진 텍스트를 음성 형태로 정확하게 변환하는 데 중요하며, PM 모듈은 음성학 피쳐를 예측하여 합성된 음성의 자연스러움과 표현력을 향상시킵니다.

8.2 모델 아키텍처

8.2.1 음성 이해

• 음성 인코더: Conformer 모델로, 1B 파라미터를 가지고 있으며, 80차원의 멜-스펙트로그램 피쳐를 입력으로 받습니다. 이 피쳐들은 스트라이드 4의 스태킹 레이어와 선형 투영을 통해 처리된 후 24개의 Conformer 계층을 거쳐 처리됩니다.
• 음성 어댑터: 약 1억 개의 파라미터를 가지며, 컨볼루션 계층, 로터리 트랜스포머 계층, 선형 계층으로 구성됩니다. 이 계층들은 음성 프레임 길이를 80ms로 줄이고, 언어 모델에 보다 거친 피쳐를 제공합니다.

8.2.2 음성 생성

• 텍스트 정규화 및 음성학 모델링: Llama-3의 8B 임베딩을 사용하여 텍스트 정규화와 음성학 모델링의 두 주요 구성 요소에서 의미적 정확성을 보장하고 자연스러움과 표현력을 높입니다. 이를 통해 정확하고 자연스러운 음성 생성이 가능해집니다.

8.3 훈련 절차

8.3.1 음성 이해 훈련

음성 모듈의 훈련은 두 단계로 진행됩니다.

1. 음성 Pre-training: 레이블이 없는 데이터를 사용하여 다양한 언어와 음향 조건에서 강력한 일반화 능력을 보이는 음성 인코더를 훈련합니다. 이 과정은 BEST-RQ 알고리즘을 사용하여 Self Supervised Learning 방식으로 진행됩니다. 입력 멜-스펙트로그램에는 32 프레임 길이의 마스크를 2.5% 확률로 적용하고, 60초를 초과하는 발화는 무작위로 6K 프레임(60초 해당)으로 자릅니다. 멜-스펙트로그램 피쳐는 4개의 연속 프레임을 쌓아 320차원 벡터를 16차원 공간으로 투영하고, 8,192개 벡터의 코드북에 대해 코사인 유사도 측정을 통한 최근접 이웃 검색을 수행합니다. 500K 스텝 동안 전역 배치 크기 2,048 발화로 훈련합니다.

2. 지도 학습: Pre-trained 음성 인코더와 임의로 초기화된 어댑터를 언어 모델과 함께 통합하여 동시에 최적화합니다. 이 단계에서는 언어 모델을 변경하지 않았으며, 훈련 데이터는 ASR, AST, 음성 대화 데이터의 혼합으로 구성되었습니다. Llama-3-8B의 음성 모델은 650K 업데이트, 전역 배치 크기 512 발화, 초기 학습률 \(10^{-4}\)로 훈련되며, Llama-3 70B는 600K 업데이트, 배치 크기 768 발화, 학습률 \(4 \times 10^{-5}\)로 훈련됩니다.

8.3.2 음성 생성 훈련

음성 생성을 위해, 실시간 처리를 지원하는 발성 모델은 고정된 미래의 음소 수와 가변적인 미래 토큰 수를 고려하는 선행 메커니즘을 사용합니다. 이는 텍스트 입력 처리 시 일관된 선행을 보장하며, 저지연 음성 합성 응용에 필수적입니다.

[훈련]

• 동적 정렬 전략과 인과 마스킹을 사용하여 음성 합성의 스트리밍 가능성을 용이하게 합니다. 이 전략은 고정된 미래 음소 수와 가변적인 미래 토큰 수를 고려하며, 텍스트 정규화 과정 중 청킹과 일치합니다.
• Llama-3-8B 모델에서 파생된 Llama-3 임베딩은 Prosody Model의 훈련 동안 변경되지 않습니다. 입력 음소율 피쳐는 언어 및 스타일 제어 요소를 포함합니다.
• 모델 훈련은 배치 크기 1,024 발화, 최대 길이 500 음소로 진행되며, AdamW optimizer를 사용한 \(9 \times 10^{-4}\)의 학습률로 1백만 업데이트 동안 훈련합니다. 처음 3,000 업데이트 동안 학습률 웜업을 진행한 후 코사인 스케줄을 따릅니다.

[인퍼런스]

• 훈련 시와 동일한 선행 메커니즘과 인과 마스킹 전략을 사용하여 실시간 처리 중 훈련과 일관성을 유지합니다. PM은 텍스트를 스트리밍 방식으로 처리하며, 음소별로 입력을 업데이트하고 토큰별 피쳐를 청크별로 업데이트합니다. 새로운 청크 입력은 해당 청크의 첫 번째 음소가 현재일 때만 업데이트됩니다.

위 훈련 절차는 Llama-3 모델의 음성 이해 및 생성 능력을 개발하고 최적화하는 데 중점을 두며, 모델은 다양한 언어와 음향 조건에서 강력한 성능을 발휘할 수 있도록 설계되었습니다.

8.4 음성 이해 결과

• 음성 인식: 다양한 벤치마크에서 Llama-3의 음성 인식 성능을 평가하고, Whisper와 SeamlessM4T와 같은 최신 모델과 비교합니다. Llama-3은 모든 벤치마크에서 우수한 성능을 보여줍니다.
• 음성 번역: 비영어 음성을 영어 텍스트로 번역하는 작업에서 BLEU 점수를 측정하여 평가합니다. Llama-3은 다양한 언어에서의 음성 번역 작업에서 강력한 성능을 보여줍니다.
• 음성 기반 질문 응답: Llama-3은 코드 전환된 음성도 쉽게 이해하며, 여러 턴에 걸친 대화에서도 일관된 성능을 보여줍니다.

8.5 음성 생성 결과

• 텍스트 정규화: Llama-3 임베딩을 사용한 텍스트 정규화 모델은 오른쪽 컨텍스트를 사용하여 학습되며, Llama-3 임베딩을 사용하지 않는 모델과 비교하여 더 나은 성능을 보여줍니다.
• 프로소디 모델링: Llama-3 임베딩을 사용한 프로소디 모델은 사람 평가에서 더 높은 선호도를 받으며, 스트리밍 및 비스트리밍 Baseline Model보다 우수한 성능을 보여줍니다.

9. 관련 연구

TL;DR

• Llama-3의 개발은 언어, 이미지, 비디오, 음성을 다루는 기초 모델에 대한 방대한 선행 연구를 기반으로 함.
• 이 모델은 규모의 증가와 효율적인 구조의 혼합, 오픈소스 모델의 확장을 특징으로 함.
• 멀티모달 기능을 통한 언어와 다른 모달리티의 통합 연구를 계속하고 있음.

9.1 언어

Llama-3은 간단한 방법을 점차적으로 큰 규모로 적용하는 추세를 따르고 있으며, 405B 모델은 Llama-2의 70B 모델 대비 거의 50배의 프리트레이닝 연산 예산을 사용합니다. 이는 이전의 모델들보다 적은 파라미터를 사용하면서도 성능을 개선한 결과입니다. 작은 모델들은 더 적은 파라미터를 사용하여 인퍼런스 비용을 줄이고 배포를 단순화합니다. 이는 훈련 계산을 인퍼런스 효율성과 교환하는 것을 의미합니다. 아키텍처 측면에서는 Llama-3이 큰 변화 없이 Llama-2의 구조를 유지하고 있지만, 전문가의 혼합 구조와 같은 새로운 디자인을 탐구하는 다른 모델들도 있습니다. 이런 모델들은 효율적인 용량 증가 방법을 제공합니다. 또한, Llama3-405B는 오픈소스 모델로서 현재의 폐쇄형 최신 모델과 경쟁력을 가집니다.

9.2 멀티모달

멀티모달 연구는 언어와 이미지, 비디오, 음성 등 여러 모달리티를 통합하는 기초 모델을 개발하는 일련의 연구의 일부입니다. 이미지 인식 모델은 대량의 이미지-텍스트 쌍으로 훈련되며, 일부 모델은 이미지와 텍스트를 대조 학습을 통해 함께 임베딩하는 방법을 제시합니다. 비디오와 언어의 표현을 맞추는 어댑터 접근 방식을 사용하여 비디오에 대한 질문응답 및 인퍼런스를 가능하게 합니다. 음성의 경우, 언어 모델을 직접적으로 음성 작업에 특화시키지 않고도 큰 규모에서 강력한 성능을 보입니다. 이는 음성과 언어를 통합하는 다양한 접근 방식을 바탕으로 합니다.

Scaling Law

• 주장: 규모를 증가시킬수록 성능이 향상된다.
• 근거: 이전 모델들과 비교하여 적은 수의 파라미터로도 더 높은 성능을 달성함.
• 파라미터 수와 연산량의 증가가 성능 향상에 미치는 영향을 설명하는 스케일링 법칙에 근거함.

효율적인 아키텍처

• 주장: 아키텍처의 효율적인 설계는 연산 비용 대비 더 나은 성능을 제공한다.
• 근거: 믹스처 오브 전문가(MoE) 아키텍처를 통한 모델 용량 증가가 효율적임을 보여줌.
• 아키텍처의 복잡성과 연산 효율성 간의 관계를 탐구함.

10. 결론

TL;DR

• 고품질 기초 모델의 개발은 여전히 초기 단계에 있으며 Llama-3 개발 경험을 통해 향후 큰 개선이 예상됨.
• 데이터의 질, 규모의 증대, 간단함에 중점을 두어 좋은 결과 도출
• 멀티모달 기능 통합 시도 및 사회적으로 중요한 용도로 AI 시스템 개발 가속화를 위해 Llama-3 공개

1. 데이터 품질의 중요성
   • 주장: 고품질 데이터 사용은 모델 성능 향상에 결정적이다.
   • 근거: 별도의 팀이 벤치마크와 격리하여 데이터를 확보하고 처리하도록 조직적 결정을 내림.
   • 고품질 데이터는 오버피팅을 방지하고, 신뢰할 수 있는 학습 결과를 보장함.
2. 조직적 결정의 중요성
   • 주장: 기술적 문제뿐만 아니라 조직적 결정도 모델 개발에 중요하다.
   • 근거: 연구진 중 개발에 직접 관여하지 않은 소수만이 휴먼 평가를 수행하고 접근하도록 함.
   • 이런 결정들은 모델 개발 과정에서 편향을 최소화하고 신뢰성을 보장함.