Model | Claude 3.5 Sonnet

• Related Project: Private
• Category: Paper Review
• Date: 2024-06-21

[안전성평가 색인마킹] ASL-2, UK - Artificial Intelligence Safety Institute

[인퍼런스비용 색인마킹] 입력 토큰 백만 개당 3달러, 출력 토큰 백만 개당 15달러의 비용이 들며, 200K 토큰의 컨텍스트 윈도우를 지원

Claude 3.5 Sonnet

• url: https://www.anthropic.com/news/claude-3-5-sonnet
• abstract: Claude 3.5 Sonnet, the first model in the Claude 3.5 series, sets new industry standards by outperforming Claude 3 Opus and competitors, doubling the speed with cost efficiency of Claude 3 Sonnet. It’s available for free on Claude.ai and the Claude iOS app, with higher access for subscribers and through Anthropic API, Amazon Bedrock, and Google Cloud’s Vertex AI at $3 per million input tokens and $15 per million output tokens with a 200K token context. The model excels in graduate-level reasoning, undergraduate knowledge, and coding proficiency, showing marked improvements in nuance, humor, and complex instruction handling. It demonstrated superior coding problem-solving in internal evaluations, successfully addressing 64% of challenges. Claude 3.5 Sonnet also surpasses previous models in vision benchmarks and introduces “Artifacts” on Claude.ai for dynamic AI-content integration into workflows, advancing towards a collaborative environment. Continuous rigorous testing and external reviews ensure robust safety and privacy standards.
• keywords: AI models, Claude 3.5 Sonnet, multi-choice question answering, knowledge graphs, visual reasoning, AI safety, collaborative AI, generative models.

TL;DR

Claude 3.5 Sonnet은 Claude 3.5 모델 시리즈의 첫 출시하였습니다. 이 모델은 Claude 3 Opus 및 경쟁 모델들을 다양한 평가에서 능가하며, 중급 모델인 Claude 3 Sonnet의 속도 및 비용 효율성을 유지하고 있다고 합니다. (입력 토큰 백만 개당 3달러, 출력 토큰 백만 개당 15달러의 비용이 들며, 200K 토큰의 컨텍스트 윈도우를 지원)

• 성능 향상: Claude 3.5 Sonnet은 Claude 3 Opus의 두 배 속도로 운영되며, 이는 고객 지원 및 복잡한 워크플로우 조정과 같은 복잡한 작업을 수행할 수 있다고 합니다.
• 코딩 능력: 내부 코딩 평가에서 Claude 3.5 Sonnet은 64%의 문제를 해결하여 Claude 3 Opus의 38%를 능가했다고 합니다. 독립적으로 코드를 작성, 편집 및 실행할 수 있으며, 특히 레거시 애플리케이션을 업데이트하고 코드베이스를 마이그레이션하는 데 사용할 수 있습니다.
• 시각적 성능: Claude 3.5 Sonnet은 표준 시각 벤치마크에서 이전 버전을 능가하는 우수한 시각 모델로, 차트 및 그래프 해석과 같이 시각적 인퍼런스를 요구하는 작업에서 두드러진 개선을 보였다고 합니다.
• 새로운 기능 ‘Artifacts’: 사용자가 코드 스니펫, 텍스트 문서, 웹사이트 디자인 등의 콘텐츠를 생성하도록 요청할 때 이를 실시간으로 편집하고 확장할 수 있는 동적 작업 공간을 제공합니다.
• 안전성 및 개인 정보 보호: 모든 모델은 엄격한 테스트를 거쳐 오용을 줄이도록 훈련되었습니다. Claude 3.5 Sonnet은 ASL-2로 평가되었으며, UK의 Artificial Intelligence Safety Institute을 통해 사전 배포 안전 평가를 받았습니다.