Yi-34B¶
개요¶
- 개발사: 01.AI (영링지능, 이카이푸 설립)
- 출시일: 2023년 11월
- 특징 요약: 01.AI의 대표 오픈소스 LLM으로, 공개 당시 동급 최고 수준의 성능을 보인 340억 파라미터 모델
사양¶
| 항목 | 내용 |
|---|---|
| 파라미터 | 34B (34.4 billion) |
| Context Window | 4K tokens (기본), 200K tokens (Yi-34B-200K) |
| 아키텍처 | Transformer Decoder-only, Grouped-Query Attention (GQA), SwiGLU |
| 학습 데이터 | 3조 토큰 |
| 어휘 크기 | 64,000 토큰 |
라이선스¶
- 오픈소스 여부: Yi License (수정된 Apache 2.0)
- 상업적 사용 조건: 상업적 사용 허용, 사용자 신청서 제출 권장
주요 특징¶
- 2023년 11월 공개 당시 오픈소스 LLM 중 최고 성능
- 200K 토큰 컨텍스트 확장 버전 제공
- 영어, 중국어 이중 언어 최적화
- Yi-VL (비전-언어) 멀티모달 버전 제공
- 고품질 데이터 큐레이션 및 정제에 집중
장점¶
- 공개 당시 Llama 2 70B를 능가하는 성능
- 200K 컨텍스트로 초장문 처리 가능
- 영어-중국어 이중 언어에서 우수한 성능
- 상업적 사용 가능한 라이선스
- 비전 모델 (Yi-VL) 등 확장 생태계
단점/한계¶
- Yi-1.5, Yi-Large 등 후속 모델 출시로 구버전화
- 기본 컨텍스트 길이가 4K로 제한적
- 최신 모델들 대비 성능 격차 발생
- 중국어 편향 가능성
- 라이선스가 순수 Apache 2.0이 아니라 일부 조건 존재
참고 자료¶
- GitHub: https://github.com/01-ai/Yi
- HuggingFace: https://huggingface.co/01-ai/Yi-34B
- 논문: https://arxiv.org/abs/2403.04652
- 공식 웹사이트: https://www.01.ai/