1. 서론
본 연구에서는 현대 AI 생태계의 핵심 요소인 파운데이션 모델에 대해 다룹니다. BERT, CLIP, Whisper 등과 같은 오픈 파운데이션 모델은 개발자가 모델을 선택하는 데 있어 더 많은 선택권을 제공하고, 모델 작동 방식에 대한 더 깊은 이해를 가능하게 합니다. 그러나 이런 모델의 보급이 넓어짐에 따라 생물안보, 사이버보안, 정보 조작 등의 위험도 증가하고 있습니다. 이에 대한 논의는 주로 오픈 모델 대 비오픈 모델의 차이에 초점을 맞추고 있으며, 정책 입안자들은 이런 모델의 관리 방법을 모색하고 있습니다.
2. 배경
파운데이션 모델의 릴리즈 환경은 복잡하며, 여러 자산(모델, 데이터, 코드 등)에 대한 접근성이 시간에 따라 변동될 수 있습니다. 본 논문에서는 오픈 파운데이션 모델과 클로즈드 모델의 이분법을 사용하여 분석을 용이하게 합니다. 오픈 모델은 널리 사용 가능한 모델 가중치를 제공하지만, 다른 자산의 공개는 필수적이지 않습니다. 이런 정의는 최근 미국의 행정명령에서 “널리 사용 가능한 모델 가중치를 갖는 파운데이션 모델”로 언급되었습니다.
3. 오픈 파운데이션 모델의 독특한 속성
오픈 파운데이션 모델은 클로즈드 모델에 비해 다음과 같은 다섯 가지 주요 속성을 가집니다.
4. 오픈 파운데이션 모델의 이점
오픈 파운데이션 모델의 독특한 속성으로부터 다음과 같은 주요 이점이 도출됩니다.
5. 위험성
오픈 파운데이션 모델은 잠재적인 오용을 통해 사회적 위험을 증가시킬 수 있습니다. 본 논문은 오픈 모델이 사회적 위험을 증가시키는 정도를 이해하는 데 도움이 되는 새로운 프레임워크를 제시합니다. 오픈 모델의 마진 위험(marginal risk)을 분석하여, 특정 오용 벡터에 대한 현재의 경험적 증거가 약하다는 점을 인식하면서, 모델 능력과 사회적 방어가 진화함에 따라 이런 위험의 본질이 변화할 것임을 인정합니다.
5. 오픈 파운데이션 모델의 위험성
오픈 파운데이션 모델의 사용은 다양한 위험 요소를 동반합니다. 이 모델들이 사회에 추가적으로 가져오는 위험을 평가하기 위해 특정한 프레임워크를 사용합니다. 이 프레임워크는 여러 위험 요소들을 체계적으로 식별하고 평가하는 데 중점을 둡니다. 본 논문에서는 이런 위험 평가를 위한 6단계 프레임워크를 제안하며, 이는 기존의 위험과 방어 메커니즘을 평가함으로써 새로운 위험을 명확히 정의하고 이에 대응하는 방법을 모색합니다.
5.1. 위험 평가 프레임워크
이 섹션에서는 특정 위험 요소를 평가하기 위한 6단계 프레임워크를 세밀하게 설명합니다. 이 프레임워크는 컴퓨터 보안에서 사용되는 위협 모델링 프레임워크를 기반으로 하며, 각 단계는 위험을 식별하고 기존의 위험 및 방어 전략을 평가하는 데 초점을 맞춥니다.
위협 식별: 모든 오용 분석은 시스템적으로 잠재적 위협을 식별하고 특성화해야 합니다. 이 단계는 위협이 될 수 있는 구체적인 요소(e.g., 스피어 피싱 사기 또는 영향력 작업)와 그 실행 방식을 명확히 해야 합니다. 또한 잠재적 악의적 행위자와 자원을 명확히 해야 합니다.
수학적 관점에서, 위협 식별은 다음과 같이 모델링할 수 있습니다.
\[P(T | A, R) = \frac{P(A, R | T) \times P(T)}{P(A, R)}\]$T$는 위협, $A$는 악의적 행위자, $R$은 자원입니다. 이 식은 주어진 자원과 행위자가 주어졌을 때 특정 위협이 발생할 확률을 계산합니다.
기존 위험 (오픈 파운데이션 모델 없음): 위협이 주어지면, 오용 분석은 사회에서 이미 존재하는 오용 위험을 명확히 해야 합니다. 이는 새로운 위험을 배경 맥락에 놓고 평가하는 데 도움이 됩니다.
기존 방어 (오픈 파운데이션 모델 없음): 위험 요소가 존재한다고 가정할 때, 오용 분석은 사회(또는 특정 기관이나 관할 구역)가 이런 위험에 대해 어떻게 방어하고 있는지 명확히 해야 합니다. 이해는 새로운 위험이 도입될 때 현재의 방어 전략의 효율성과 충분성을 정보화합니다.
오픈 파운데이션 모델의 추가 위험 증거: 위험 식별과 기존 위험 및 방어 분석을 결합하면 오픈 파운데이션 모델의 위험을 논리적으로 인퍼런스할 수 있습니다. 이는 현재 상태를 고려할 때 오픈 파운데이션 모델이 사회에 추가적으로 가져오는 위험을 평가할 수 있습니다.
새로운 위험에 대한 방어 용이성: 존재하는 방어는 새로운 위험에 대한 기본선을 제공하지만, 전체적인 위험 증가를 어떻게 해결할지 명확히 하지 않습니다. 따라서 위험 캐릭터의 변화에 따라 방어 전략이 어떻게 발전할지 예상해야 합니다.
불확실성 및 가정: 위험 평가 프레임워크를 위해 기술 발전의 궤적, 위협 행위자의 적응 능력, 그리고 새로운 방어 전랥의 효과에 대한 가정을 명확히 해야 합니다. 이는 위험 평가의 효과성과 척도 가능성에 영향을 미칠 수 있습니다.
각 단계는 수학적 원리를 기반으로 한 분석을 통해 위험을 명확하게 식별하고 평가합니다. 이런 접근 방식은 위험 요소의 논리적 인퍼런스를 가능하게 하며, 특정 위험 요소에 대한 근거 있는 결론을 도출할 수 있습니다.
6. 권장 사항 및 행동 촉구
본 섹션에서는 오픈 파운데이션 모델을 평가하고 관리하는 데 있어, 이를 이해하고 실행하는 다양한 이해당사자들에게 구체적인 권장 사항을 제공합니다. 이 권장 사항들은 각 이해당사자의 역할과 책임을 명확히 하여 오픈 파운데이션 모델의 잠재적 위험을 관리하고 이점을 극대화하는 데 중점을 둡니다.
6.1. 인공지능 개발자
오픈 파운데이션 모델과 비교하여, 폐쇄된 모델은 일반적으로 사용자와 개발자에 의해 제품 안전 기대치가 명확하게 관리됩니다. 반면, 오픈 모델은 이런 기대치가 덜 명확하며, 개발자와 사용자 간의 안전에 대한 책임 분배가 확립되어 있지 않습니다. 따라서, 오픈 파운데이션 모델 개발자는 자신들이 적용하고 있는 책임감 있는 AI 실천 방법과 downstream 개발자나 배포자에게 권장하거나 위임하는 실천 방법에 대해 투명해야 합니다.
오픈 파운데이션 모델의 책임 있는 AI 실천의 효과를 평가할 때, 다음과 같은 확률 모델을 고려할 수 있습니다.
\[P(S | R) = \sum_{i} P(S | R_i) \cdot P(R_i)\]$S$는 안전한 모델의 성공적 구현, $R$은 책임 있는 AI 실천, $R_i$는 특정 실천 방법을 의미합니다. 이 식은 다양한 책임 있는 AI 실천이 안전한 모델 구현에 미치는 종합적인 효과를 평가하는 데 사용됩니다.
6.2. AI 위험 연구자
연구자들은 오픈 파운데이션 모델의 오용 위험에 대한 초기 분석을 통해 여러 오용 벡터에 대한 상당한 불확실성을 발견하였습니다. 이에 따라, 연구자들은 오픈 파운데이션 모델의 오용에 대한 추가적인 위험을 명확히 할 수 있는 새로운 연구를 수행해야 합니다.
6.3. 정책 입안자
정부 기관은 오픈 파운데이션 모델의 위험을 조사하는 연구가 적절히 독립적인 동시에 충분한 자금을 받을 수 있도록 해야 합니다. 특정 오용 벡터에 대한 불확실성이 감소되고, 추가적인 위험이 상당하다고 입증되면, 추가적인 정책 개입을 고려할 수 있습니다.
6.4. 경쟁 규제기관
오픈 파운데이션 모델이 혁신을 촉진하고 경쟁을 장려할 수 있는 잠재적인 이점은 크지만, 이런 이점의 경제적 크기는 대규모 경제 분석이나 시장 감시 없이는 문서화되지 않았습니다. 따라서 경쟁 규제기관은 이런 모델의 이점과 개방성의 영향을 측정하기 위해 투자해야 합니다.
실험 및 연구 방법
이런 권장 사항은 실제 정책 제안과 기술 개발 과정에서 실행될 수 있으며, 그 효과는 경제적, 사회적 맥락에서 평가될 수 있습니다. 각 이해당사자의 행동 변화를 유도하고 평가하기 위한 구체적인 방법과 접근 방식이 필요합니다.
이 섹션에서 제시된 권장 사항은 오픈 파운데이션 모델을 보다 안전하고 효과적으로 관리하는 데 중요한 역할을 합니다. 각 이해당사자가 자신의 역할을 충실히 이행함으로써, 오픈 파운데이션 모델의 이점을 극대화하고 위험을 최소화할 수 있습니다.