이번 글에서는 StabilityAI에서 공개한 SD(Stable Diffusion)이 LDM기반으로 등장한 이후에, 개선된 다양한 모델의 히스토리를 살펴보고자합니다. 이런 다양한 SD들을 활용하기 위해서는 보통 Diffusers라는 라이브러리를 활용해 구현합니다. 따라서 다양한 모델들의 버전별 큰 특징들을 먼저 살펴보고, Diffusers라는 라이브러리를 활용해 구현할 때 성능 개선을 위해 사용하는 다양한 옵션에 대해서도 논문과 함께 살펴보고자 합니다.1. Core Models     a. Stable Diffusion 2.0     b. Stable Diffusion XL     c. Stable Diffusion 3.0     d. Stable Diffusion Turbo 2. Optional Imp..

Paper : https://arxiv.org/pdf/2402.03290AuthorsMeta + UC Berkeley Univ, CVPR’24Main Ideapretrained T2I모델을 control하기 위한 방법으로, 개별적인 instance들에게 각각 control을 제공하기 위한 모델** GLIGEN의 open-set grounded T2I문제와 비슷한 문제를 해결합니다.instance별로 각각 free-form language condition을 제공할 수 있으며, 아래와 같은 location에 대한 유연한 control을 제공할 수 있습니다.Single pointScribbleBounding boxInstance segmentation maskTasks : Text2Image + Contro..