대규모 언어모델(LLM)의 핵심 구성 요소인 어텐션 메커니즘은 시퀀스 내 토큰들이 서로 상호 작용할 수 있도록 하지만 순서에 독립적입니다. 위치 인코딩(PE)을 도입하면 $i$번째 토큰과 같은 위치별로 attend를 수행하는 등 위치를 기준으로 접근할 수 있습니다. 하지만 현재의 PE 방식들은 토큰 개수를 이용하여 위치를 파악하기 때문에 $i$번째 문장과 같은 더 높은 추상 레벨에는 일반화되지 않습니다.
이 논문에서는 새로운 위치 인코딩 방법인 컨텍스트 위치 인코딩(Contextual Position Encoding, 이하 “CoPE”)을 제안합니다. CoPE는 모델이 특정 토큰에서만 위치를 증가시켜 컨텍스트에 따라 위치를 조건화할 수 있도록 합니다. 이를 통해 $i$번째 특정 단어, 명사 또는 문장과 같은 보다 일반적인 위치 지정이 가능해집니다. CoPE가 기존 위치 인코딩 방식들이 실패하는 선택적 복사, 카운팅 및 플립-플롭 과제를 해결할 수 있을 뿐만 아니라 언어 모델링 및 코딩 태스크에서 perplexity를 개선한다는 것을 보여줍니다.
Contents
[서론]
위치 인코딩(Position Encoding)의 중요성 및 기존 방식의 한계
대규모 언어모델(LLMs)은 텍스트, 오디오, 코드 등 다양한 순차 데이터를 처리할 때 각 데이터 요소의 순서가 중요합니다. 특히, 텍스트 데이터에서는 단어나 문장의 위치가 의미 해석에 필수적인 역할을 합니다. 현재 LLMs의 핵심 구조인 Transformer는 어텐션 메커니즘을 사용하여 데이터 요소 간의 관계를 파악하지만, 이 방식은 위치 정보를 자체적으로 처리하지 못하고, 별도의 위치 인코딩(Position Encoding, PE) 방법이 필요합니다.
기존의 PE 방식은 주로 절대 위치 인코딩(Absolute PE)과 상대적 위치 인코딩(Relative PE)으로 구분됩니다. 절대 위치 인코딩은 특정 위치에 고유한 벡터를 할당하여 정보를 처리하는 반면, 상대적 위치 인코딩은 현재 토큰으로부터의 상대적 거리를 계산하여 위치 정보를 처리합니다. 그러나 이런 방식은 토큰의 개수에 따라 달라지며, 문장이나 문단과 같은 추상적인 요소의 위치 파악에는 한계가 있습니다.
[방법]
Contextual Position Encoding(CoPE)
CoPE는 기존의 PE 방식을 개선하여 문맥을 기반으로 한 위치 인코딩을 제안합니다. CoPE는 각 토큰의 문맥 벡터를 사용하여, 해당 토큰이 위치 계산에 포함될지 여부를 결정하는 게이트 값을 계산합니다. 이 게이트 값은 특정 토큰이 위치 인코딩에 얼마나 중요한지를 나타내며, 이를 통해 토큰의 상대적 위치를 보다 정확하게 결정할 수 있습니다.
\(g_{ij} = \sigma(q_i^T k_j)\) 수식에서 \(q_i\)는 질의 벡터, \(k_j\)는 키 벡터, \(\sigma\)는 시그모이드 함수입니다. 이렇게 계산된 게이트 값은 위치 값 계산에 사용되며, 이 위치 값은 입력 토큰 간의 문맥적 거리를 반영하여 인코딩됩니다.
위치 인코딩(Position Encoding)의 기본 개념
기존 Transformer 모델은 입력 토큰들의 상대적 또는 절대적 위치 정보를 모델에 제공하기 위해 위치 인코딩을 사용합니다. 절대 위치 인코딩은 각 위치에 고유한 벡터를 할당하고, 상대 위치 인코딩은 토큰 간의 상대적 거리에 따라 인코딩을 조정합니다.
상대 위치 인코딩은 다음과 같은 수식으로 표현할 수 있습니다.
\[\text{PE}_{\text{relative}}(i, j) = \mathbf{e}_{i-j}\]상기 수식에서 \(i\)와 \(j\)는 각각 쿼리 토큰과 키 토큰의 위치, \(\mathbf{e}\)는 학습 가능한 위치 벡터
[접근 방법]
CoPE: Contextual Position Encoding
CoPE는 각 토큰의 문맥을 고려하여 위치를 동적으로 계산합니다. 특히, CoPE는 토큰 간의 상호작용을 통해 얻은 ‘게이트 값’을 사용하여 위치를 결정하며, 이는 문맥에 따라 위치가 어떻게 변화하는지를 모델에 학습시킵니다. 게이트 값은 다음과 같이 계산됩니다.
\[g_{ij} = \sigma(\mathbf{q}_i^T \mathbf{k}_j)\]상기 수식에서 \(\sigma\)는 시그모이드 함수, \(\mathbf{q}_i\)와 \(\mathbf{k}_j\)는 각각 쿼리와 키 벡터이며, 위치 \(p_{ij}\)는 게이트 값에 따라 결정됩니다. 이를 통해 위치 인코딩 벡터를 동적으로 계산할 수 있습니다.
[주요 이점]
CoPE는 각 토큰의 위치를 문맥에 따라 동적으로 조정할 수 있어, 문장이나 문단과 같은 추상적 단위의 위치를 효과적으로 파악할 수 있습니다. 이는 문맥적 이해가 중요한 언어 이해 작업에서 특히 유용하며, 다양한 언어 모델링 작업에서 성능 향상을 기대할 수 있습니다.
[실험 및 결과]
CoPE를 통해 개선된 위치 인코딩 방식은 다양한 언어 모델링 작업에 적용되어 기존 PE 방식 대비 우수한 성능을 보였습니다. 특히, 문장 카운팅, 선택적 복사, Flip-Flop 태스크 등에서 CoPE는 기존 방법보다 우수한 일반화 성능을 보였으며, 실제 위키텍스트 및 코드 데이터셋에서의 언어 모델링 실험에서도 CoPE의 효과를 검증합니다.
[결론]
CoPE는 Transformer 기반의 대규모 언어모델에서 위치 인코딩을 혁신적으로 개선한 방법으로 문맥을 고려한 위치 인코딩을 통해 보다 정밀한 언어 처리가 가능하며, 다양한 순차 데이터 처리 작업에서의 성능을 향상시킬 수 있다고 언급합니다.