ELBO2

• 디퓨전 모델과 ELBO 정리: DDPM 논문을 중심으로 디퓨전 모델과 ELBO 정리: DDPM 논문을 중심으로학교에서 있을 GDGoC 딥러닝 세미나를 준비하면서, 생성형 AI에 대해 다시 공부하게 되었다. 특히, 확률적 생성 모델이 어떻게 최적화되는지를 이해하는 과정에서 디퓨전 모델(Diffusion Model)의 ELBO(Evidence Lower Bound) 유도 방식이 궁금했다. 디퓨전 모델의 핵심 아이디어는 데이터를 점진적으로 노이징 하는 Forward Process(확산 과정)과 이를 복원하는 Reverse Process(역확산 과정, 디노이징 과정)을 학습하는 것이다. 이 과정은 DDPM 논문("Denoising Diffusion Probabilistic Models")에서 수식적으로 체계적으로 정리되어 있다. 논문의 핵심 내용을 정리하면서 ELB.. 개인공부&프로젝트 2025. 2. 1.

• 

  GMM에서 VAE로: EM 알고리즘 한계 극복하기 GMM과 VAE: EM 알고리즘 한계 극복하기혼합 가우시안 모델(Gaussian Mixture Model, GMM)은 데이터 분포를 여러 개의 가우시안 분포로 나타내는 모델로, 데이터가 여러 개의 가우시안 분포에서 샘플링된 결과라는 생성적 관점을 제공한다. 이를 통해 GMM은 데이터 생성 과정을 모델링할 수 있으며, 각 데이터 포인트가 특정 가우시안 분포에서 생성되었다고 가정한다. GMM의 학습 과정에서는 주로 기대값 최대화(Expectation-Maximization, EM) 알고리즘이 활용된다. EM 알고리즘은 잠재 변수를 포함한 확률 모델의 최대 우도(MLE)를 계산하는 효과적인 방법으로, 데이터를 설명하는 잠재 구조를 탐구할 수 있도록 돕는다. 하지만 GMM은 각 데이터 포인트가 여러 가우시안 분.. 개인공부&프로젝트 2025. 1. 19.