VLM 상황별 추천 가이드¶

1. 문서/OCR 작업¶

1.1 일반 문서 분석¶

우선순위	모델	이유
1	GPT-4V / GPT-4o	최고 수준 OCR, 레이아웃 이해
2	Claude 3.5 Sonnet	우수한 문서 추론, 긴 문서 처리
3	Gemini 1.5 Pro	대용량 문서, 멀티페이지 처리
4	Qwen2-VL-72B	오픈소스 중 최고 OCR 성능

1.2 다국어 문서 (CJK 포함)¶

우선순위	모델	이유
1	Qwen2-VL	중국어 최적화, 한중일 우수
2	GPT-4o	다국어 균형 성능
3	Gemini 1.5 Pro	광범위 언어 지원

1.3 표/차트 분석¶

우선순위	모델	이유
1	Claude 3.5 Sonnet	ChartQA 최고 성능
2	GPT-4V	복잡한 차트 추론
3	Gemini 1.5 Pro	대규모 데이터 테이블

2. 코딩/기술 작업¶

2.1 UI 스크린샷 분석 및 코드 생성¶

우선순위	모델	이유
1	Claude 3.5 Sonnet	Artifacts 기능, 코드 품질
2	GPT-4V	UI 요소 정확한 인식
3	Gemini 1.5 Pro	긴 코드 컨텍스트

2.2 다이어그램/아키텍처 이해¶

우선순위	모델	이유
1	GPT-4V	기술 다이어그램 해석 우수
2	Claude 3.5 Sonnet	시스템 아키텍처 설명
3	Gemini 1.5 Pro	AI2D 벤치마크 고성능

2.3 수식/수학 문제¶

우선순위	모델	이유
1	GPT-4o	MathVista 최고 성능
2	Claude 3.5 Sonnet	단계별 풀이 우수
3	Qwen2-VL-72B	오픈소스 중 최고

3. 크리에이티브 작업¶

3.1 이미지 설명/캡셔닝¶

우선순위	모델	이유
1	GPT-4V	상세하고 정확한 설명
2	Claude 3 Opus	문학적 표현, 뉘앙스
3	Gemini 1.5 Pro	창의적 설명

3.2 비디오 분석¶

우선순위	모델	이유
1	Gemini 1.5 Pro	네이티브 비디오 지원, 1시간+
2	GPT-4o	비디오 프레임 분석
3	Qwen2-VL	오픈소스 비디오 지원

3.3 예술/디자인 분석¶

우선순위	모델	이유
1	Claude 3 Opus	예술적 해석, 심층 분석
2	GPT-4V	스타일/구도 분석
3	Gemini 1.5 Pro	다양한 예술 지식

4. 과학/연구¶

4.1 의료 이미지¶

우선순위	모델	이유
1	GPT-4V	의료 영상 학습 데이터
2	Gemini 1.5 Pro	의료 벤치마크 고성능
참고	Med-PaLM M	의료 특화 (비공개)

주의: 의료 진단 목적 사용 시 전문가 검토 필수

4.2 과학 논문/그래프¶

우선순위	모델	이유
1	Claude 3.5 Sonnet	과학 그래프 해석 우수
2	GPT-4V	논문 수식/그래프
3	Gemini 1.5 Pro	대용량 논문 처리

4.3 위성/지리 이미지¶

우선순위	모델	이유
1	GPT-4V	지리적 특징 인식
2	Gemini 1.5 Pro	고해상도 이미지
3	Qwen2-VL	오픈소스 대안

5. 비즈니스 응용¶

5.1 영수증/인보이스 처리¶

우선순위	모델	이유
1	Qwen2-VL	OCRBench 최고, 비용 효율
2	GPT-4V	정확도 우수
3	Claude 3.5 Sonnet	구조화 출력

5.2 제품 이미지 분석¶

우선순위	모델	이유
1	GPT-4V	상세 속성 추출
2	Claude 3.5 Sonnet	품질 평가
3	Gemini 1.5 Pro	대량 처리

5.3 브랜드/로고 인식¶

우선순위	모델	이유
1	GPT-4V	로고 인식 정확도
2	Gemini 1.5 Pro	브랜드 지식
3	LLaVA-NeXT	오픈소스 대안

6. 에지/로컬 배포¶

6.1 모바일/임베디드¶

우선순위	모델	크기	이유
1	PaliGemma-3B	3B	경량, 빠른 추론
2	Qwen2-VL-2B	2B	모바일 최적화
3	LLaVA-1.5-7B	7B	양자화 용이

6.2 온프레미스 서버¶

우선순위	모델	요구 VRAM	이유
1	Qwen2-VL-7B	16GB	균형 잡힌 성능
2	LLaVA-NeXT-7B	16GB	검증된 성능
3	Pixtral-12B	24GB	Mistral 품질

6.3 프라이버시 중요 환경¶

우선순위	모델	이유
1	Qwen2-VL	오픈소스, 로컬 실행
2	LLaVA-NeXT	완전 오픈소스
3	Pixtral	Apache 2.0 라이선스

7. 특수 상황¶

7.1 실시간 처리 필요¶

우선순위	모델	이유
1	GPT-4o	가장 빠른 응답
2	Gemini 1.5 Flash	경량화 버전
3	Claude 3.5 Sonnet	Haiku 대비 성능 유지

7.2 긴 컨텍스트 (멀티 이미지)¶

우선순위	모델	컨텍스트	이유
1	Gemini 1.5 Pro	2M 토큰	3600+ 이미지
2	Claude 3	200K 토큰	20개 이미지
3	GPT-4V	128K 토큰	안정적 처리

7.3 비용 최적화¶

시나리오	추천 모델
API 비용 절감	Gemini 1.5 Flash, Claude 3 Haiku
완전 무료	LLaVA, Qwen2-VL (로컬)
성능 대비 비용	Claude 3.5 Sonnet

8. 의사결정 플로우차트¶

시작
  |
  v
상용 API 사용 가능?
  |
  +-- Yes --> 실시간 필요?
  |             |
  |             +-- Yes --> GPT-4o / Gemini Flash
  |             |
  |             +-- No --> 문서/OCR?
  |                          |
  |                          +-- Yes --> Claude 3.5 Sonnet
  |                          |
  |                          +-- No --> 비디오?
  |                                       |
  |                                       +-- Yes --> Gemini 1.5 Pro
  |                                       |
  |                                       +-- No --> GPT-4V
  |
  +-- No --> VRAM 24GB 이상?
              |
              +-- Yes --> Qwen2-VL-72B (양자화) / Pixtral Large
              |
              +-- No --> VRAM 16GB 이상?
                          |
                          +-- Yes --> Qwen2-VL-7B / LLaVA-NeXT-7B
                          |
                          +-- No --> PaliGemma-3B / Qwen2-VL-2B

9. 요약 테이블¶

사용 사례	Best Choice	오픈소스 대안
일반 VQA	GPT-4V	Qwen2-VL-72B
문서/OCR	Claude 3.5 Sonnet	Qwen2-VL
코드 생성	Claude 3.5 Sonnet	LLaVA-NeXT
수학/과학	GPT-4o	Qwen2-VL
비디오	Gemini 1.5 Pro	Qwen2-VL
다국어	Qwen2-VL	-
경량 배포	Gemini Flash	PaliGemma
비용 효율	Claude 3.5 Sonnet	LLaVA-NeXT