Llama 3

개요

• 출시일: 2024년 4월 18일
• 개발사: Meta AI
• 오픈소스 특징: Llama 시리즈의 3세대 모델. 새로운 토크나이저와 GQA 적용으로 효율성 대폭 개선

사양

사이즈	파라미터	Context Length	학습 토큰
8B	8B	8K	15T+
70B	70B	8K	15T+

기술 상세

• 아키텍처: Transformer (auto-regressive)
• 어휘 크기: 128K 토큰 (Llama 2의 32K 대비 4배)
• Attention: Grouped Query Attention (GQA) - 8B와 70B 모두 적용
• 학습 데이터: 15조 토큰 이상 (Llama 2 대비 7배)
• 학습 클러스터: 24,000+ GPU

라이선스

• 라이선스 유형: Meta Llama 3 Community License
• 상업적 사용: 허용
• 제한 조건: 월간 활성 사용자(MAU) 7억 명 이상인 서비스의 경우 Meta로부터 별도 라이선스 필요
• 파생 모델: Llama 명칭 사용 시 "Built with Llama" 표기 필요

주요 특징

• 128K 토큰 어휘로 언어 인코딩 효율성 대폭 향상
• GQA 적용으로 추론 확장성 개선
• 15조+ 토큰의 고품질 학습 데이터
• Llama 2 70B 수준의 성능을 8B로 달성
• 향상된 코드 생성 능력
• 개선된 instruction following

벤치마크 성능

벤치마크	Llama 3 8B	Llama 2 70B	Llama 3 70B
MMLU (5-shot)	66.6	68.9	79.5
HumanEval (0-shot)	62.2	29.9	81.7
GSM-8K (8-shot)	79.6	54.4	93.0

장점

• 8B 모델이 Llama 2 70B에 근접하는 성능
• 효율적인 토크나이저로 빠른 처리
• GQA로 메모리 효율성 향상
• 코드 생성에서 뛰어난 성능
• 다양한 벤치마크에서 경쟁 모델 대비 우수

단점/한계

• 8K 컨텍스트 길이로 긴 문서 처리에 제한
• 텍스트 전용 모델 (멀티모달 미지원)
• 다국어 지원 제한적 (영어 최적화)
• 405B 대형 모델 미제공 (3.1에서 제공)
• Tool use 네이티브 미지원 (3.1에서 추가)

다운로드/사용

HuggingFace

• 8B Base: https://huggingface.co/meta-llama/Meta-Llama-3-8B
• 8B Instruct: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
• 70B Base: https://huggingface.co/meta-llama/Meta-Llama-3-70B
• 70B Instruct: https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct

Meta 공식

• https://www.llama.com/
• https://ai.meta.com/llama/

클라우드 서비스

• Amazon Bedrock
• Azure AI
• Google Cloud Vertex AI
• Together AI
• Groq

참고 자료

• Meta AI 공식 블로그: https://ai.meta.com/blog/meta-llama-3/
• GitHub: https://github.com/meta-llama/llama3
• Llama 공식 문서: https://www.llama.com/docs/
• Llama 3 라이선스: https://www.llama.com/llama3/license/