Mistral 7B
개요
- 출시일: 2023년 9월 27일 (v0.1), 2024년 5월 22일 (v0.3, 최신)
- MoE 구조 여부: No (Dense Model)
사양
| 항목 |
내용 |
| 파라미터 (총/활성) |
7B / 7B |
| Context Window |
32K tokens (v0.3 기준) |
| GPU RAM (bf16/fp4) |
약 20GB / 5GB |
라이선스
- Apache 2.0
- 제한 없이 상업적 사용 가능
가격 (API)
| Provider |
Input |
Output |
| Mistral AI |
$0.25/1M tokens |
$0.25/1M tokens |
주요 특징
- Mistral AI 최초의 오픈소스 모델
- 출시 당시 동급 크기 모델 중 최강 성능
- Grouped-Query Attention (GQA) 적용
- Sliding Window Attention (SWA) 적용
- 효율적인 메모리 사용
- 빠른 추론 속도
장점
- Apache 2.0 라이선스로 완전한 오픈소스
- 7B 파라미터로 소비자급 GPU에서 구동 가능
- Llama 2 13B 성능 초과 (출시 당시 벤치마크)
- 파인튜닝 용이
- 활발한 커뮤니티 지원
- 다양한 양자화 버전 존재
단점/한계
- 대형 모델 대비 복잡한 추론 능력 제한
- 다국어 성능이 영어 대비 낮음
- 2025년 3월 30일 지원 종료 예정 (Ministral 3 8B로 대체)
- 최신 모델들에 비해 벤치마크 성능 열위
참고 자료
- 공식 발표: https://mistral.ai/news/announcing-mistral-7b/
- 논문: https://arxiv.org/abs/2310.06825
- HuggingFace (Base): https://huggingface.co/mistralai/Mistral-7B-v0.3
- HuggingFace (Instruct): https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3
- GitHub: https://github.com/mistralai/mistral-inference