콘텐츠로 이동
Data Prep
상세

ML 기초 (Machine Learning Fundamentals)

머신러닝의 핵심 개념과 기법. 딥러닝과 LLM을 이해하기 위한 필수 기반 지식.

왜 ML 기초가 필요한가

개념 DL/LLM 연결
경사 하강법 모든 신경망 학습의 기반
손실 함수 Cross-entropy, Perplexity
과적합/정규화 Dropout, Weight Decay
교차 검증 모델 평가, 하이퍼파라미터 튜닝
특성 엔지니어링 프롬프트 엔지니어링, 임베딩
평가 지표 Perplexity, BLEU, ROUGE

토픽 목록

경사 하강법 (Gradient Descent)

손실 함수 (Loss Functions)

과적합과 정규화 (Overfitting and Regularization)

교차 검증 (Cross-Validation)

특성 엔지니어링 (Feature Engineering)

평가 지표 (Evaluation Metrics)

불확실성 정량화 (Uncertainty Quantification)

학습 패러다임

+------------------+     +-----------------+     +----------------+
|  지도 학습       |     |  비지도 학습     |     |  강화 학습     |
|  (Supervised)    |     |  (Unsupervised) |     | (Reinforcement)|
+------------------+     +-----------------+     +----------------+
|                  |     |                 |     |                |
| - 분류           |     | - 클러스터링     |     | - Policy       |
| - 회귀           |     | - 차원 축소      |     | - Value        |
| - 시퀀스 라벨링   |     | - 이상 탐지      |     | - Actor-Critic |
|                  |     | - 생성 모델      |     |                |
+------------------+     +-----------------+     +----------------+

LLM에서의 적용:
- 지도 학습: 파인튜닝, 분류 태스크
- 비지도 학습: 사전학습, 임베딩
- 강화 학습: RLHF

학습 워크플로우

데이터 → 전처리 → 특성 추출 → 모델 선택 → 학습 → 평가 → 배포
                    |           |         |       |
                    v           v         v       v
              특성 엔지니어링  하이퍼파라미터  손실 함수  검증 전략
                              최적화       경사 하강   교차 검증

핵심 수식 요약

개념 수식
선형 모델 \(\hat{y} = w^Tx + b\)
시그모이드 \(\sigma(z) = \frac{1}{1 + e^{-z}}\)
소프트맥스 \(softmax(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}}\)
MSE \(\frac{1}{n}\sum(y - \hat{y})^2\)
Cross-entropy \(-\sum y \log(\hat{y})\)
L2 정규화 \(L + \lambda \|w\|_2^2\)
경사 하강 \(w := w - \eta \nabla L\)

참고 자료