생성 모델링

주어진 데이터셋과 유사한 새로운 데이터를 생성하도록 모델을 훈련하는 머신러닝의 한 분야 생성 모델은 따라서 확률분포 모델링하는 것으로 볼 수 있다.

• 판별 모델: $p(y|X)$를 추정 ➡️ 샘플 X가 주어졌을 때 레이블 y의 확률을 모델링
• 생성 모델: $p(x)$ ➡️ x를 관측할 확률을 모델링

생성 모델은 최대한 유사한 확률 분포를 쉽게 샘플링할 수 있어야하고 어떻게 high dimension feature들이 확률 분포로 표현하는지 이해할 수 있어야함. 이 표현은 보통 잠재 공간(latent space, manifold)로 저차원으로 맵핑이 됨.

생성 모델의 분류는 크게

• 명시적 밀도인가? 암묵적 밀도인가
  • 명시적 밀도: 밀도 함수를 생성
  • 암묵적 밀도: 데이터를 직접 생성하는 확률 과정에만 집중 ex. GAN
• 명시적 밀도 ➡️ 근사 밀도인가 다루기 쉬운 밀도인가
  • 다루기 쉬운 밀도: 밀도 함수를 직접 최적화: Autoregression, Normalizing Flow
  • 근사 밀도: 밀도 함수의 근사치 최적화: VAE, Energy-based, Diffusion

딥러닝

데이터 처리 유닛의 층을 여러 개 쌓아 구조적이지 않은 데이터에서 고수준 표현을 학습함. 이 때 데이터는 비정형 데이터로 이미지와 같이 표로 표현 못하는 데이터들이다.

딥러닝 관련 자세한 내용은 아래 포스트에 정리했다

• 📖 STUDY 밑바닥부터 시작하는 딥러닝 | 1권

• loss function: 예측값과 정답을 비교 시에 사용

• optimizer: 손실함수의 그레디언트를 기반으로 신경망 가중치를 업데이트할 때

• batch normalization: 가중치가 기하급수적으로 커지면, gradient exploding 문제가 발생하는 경우가 있음(손실함수가 nan). 이를 일정한 범위 내에서 출력하기 위해 정규화 과정을 거치지만 훈련될 수록 가중치 초깃값과 멀어짐. 이를 covariate shift라고 함. 이 때 배치 정규화가 해결책.

• dropout: 과적합 해결책. 유닛을 랜덤하게 골라 해당 유닛만 학습하여 의존성을 줄임.

해당 코드와 torch migration은 아래 repository에 첨부하였다.

• 02-deep-learning

Terminology

• sample: 데이터 포인트 하나
• manifold: 잠재 공간
• sample space: 샘플 하나가 가질 수 있는 모든 값의 집합
• probability density function: 0~1 사이의 숫자로 매핑되는 함수
• parametric modeling: 모수 모델링, 안정적인 확률을 찾는데 사용
• likelihood: $L(\theta | x)$ c.f. log-likelihood
• maximum likelihood estimation: 관측된 데이터를 가장 설명하는 밀도 함수의 파라미터 집합.