Llama 2
개요
- 출시일: 2023년 7월 18일
- 개발사: Meta AI (Microsoft와 협력)
- 오픈소스 특징: 연구 및 상업적 사용 모두 허용된 최초의 대규모 오픈 LLM. 오픈소스 AI 생태계 확산의 기폭제
사양
| 사이즈 |
파라미터 |
Context Length |
학습 토큰 |
| 7B |
7B |
4,096 |
2T |
| 13B |
13B |
4,096 |
2T |
| 70B |
70B |
4,096 |
2T |
기술 상세
- 아키텍처: Transformer (auto-regressive)
- 어휘 크기: 32K 토큰
- Attention: 70B 모델에 Grouped Query Attention (GQA) 적용
- 학습 데이터: 2조 토큰 (공개 소스)
- 컨텍스트 길이: 4,096 토큰 (Llama 1 대비 2배)
라이선스
- 라이선스 유형: Llama 2 Community License Agreement
- 상업적 사용: 허용
- 제한 조건: 월간 활성 사용자(MAU) 7억 명 이상인 서비스의 경우 Meta로부터 별도 라이선스 필요
- 사용 금지 분야: 불법 활동, 아동 착취, 허위 정보 생성 등
주요 특징
- 상업적 사용이 허용된 최초의 오픈 대규모 LLM
- RLHF(Reinforcement Learning from Human Feedback) 적용
- Chat 버전 별도 제공 (Llama 2 Chat)
- Microsoft Azure와의 긴밀한 통합
- 안전성 강화 (Red teaming, Safety fine-tuning)
- 40% 더 많은 학습 데이터 (Llama 1 대비)
벤치마크 성능
| 벤치마크 |
7B |
13B |
70B |
| MMLU (5-shot) |
45.3 |
54.8 |
68.9 |
| HumanEval (0-shot) |
12.8 |
18.3 |
29.9 |
| GSM-8K (8-shot) |
14.6 |
28.7 |
54.4 |
장점
- 상업적 사용 가능한 오픈 라이선스
- 다양한 사이즈로 유연한 배포 (7B, 13B, 70B)
- Microsoft와의 파트너십으로 Azure 통합
- 활발한 커뮤니티와 파인튜닝 모델 생태계
- RLHF로 향상된 대화 품질
- 광범위한 안전성 테스트 수행
단점/한계
- 4K 컨텍스트로 긴 문서 처리에 제한
- 영어 중심 학습 (다국어 지원 제한적)
- 코드 생성 능력 부족 (Code Llama로 보완)
- 최신 모델 대비 성능 격차
- 멀티모달 미지원
- 할루시네이션 문제 존재
다운로드/사용
HuggingFace
- 7B: https://huggingface.co/meta-llama/Llama-2-7b
- 13B: https://huggingface.co/meta-llama/Llama-2-13b
- 70B: https://huggingface.co/meta-llama/Llama-2-70b
- Chat 버전: 각각 -chat 접미사 추가
- https://www.llama.com/llama2/
- https://ai.meta.com/llama/
클라우드 서비스
- Microsoft Azure
- Amazon Bedrock
- Google Cloud Vertex AI
- Hugging Face Inference Endpoints
참고 자료
- Meta AI 공식 페이지: https://ai.meta.com/llama/
- Llama 2 논문: https://arxiv.org/abs/2307.09288
- GitHub: https://github.com/meta-llama/llama
- Llama 2 라이선스: https://ai.meta.com/llama/license/
- Meta Research 블로그: https://ai.meta.com/blog/llama-2/