MosaicML

효율적인 LLM 학습 인프라를 개발하는 기업. 2023년 Databricks에 인수되었다.

기업 정보

항목	내용
설립	2021년
본사	샌프란시스코, 미국
인수	Databricks (2023, $1.3B)

주요 특징

• LLM 학습 효율화 연구
• Composer 학습 프레임워크 개발
• Streaming 데이터셋 기술
• 현재는 Databricks 산하에서 운영

모델 목록

모델	출시	설명
MPT	2023.05	7B/30B, 상업 사용 가능

MPT 특징

• MosaicML Pretrained Transformer
• 상업적 사용 가능한 라이선스
• ALiBi 위치 인코딩으로 긴 컨텍스트 지원
• FlashAttention으로 효율적 추론
• StoryWriter-65K: 65K 컨텍스트 버전