UNet을 활용한 DDPM 이후 GLIDE, Imagen, Dall-e, ADM, LDM 등 다양한 T2I(Text-To-Image)모델이 등장하면서 UNet 기반의 Diffusion 모델에 텍스트 컨디션을 주는 다양한 방법이 가능해졌습니다. 이와 같이 Text를 컨디션으로 주는 방법도 다양하겠지만, 이에 추가적으로 유저 인터페이스를 위해 Task-specific한 다양한 condition을 제공하기 위한 방법도 있습니다.ex) User Scribbles, Line Drawkings, Key points, Segmentation Maps, Layout, Normal Map, Depths, Edge, Drag, Masked Image 등 하지만 이런 방법들은 "Multi-modal Fusion"보다는 Co..

Paper : https://openreview.net/pdf?id=k5THrhXDV3AuthorsUniversity of Zurich, ICLR’24Main Idea기존 Clustering VAE의 장점과 Multi-Modal VAE의 장점을 합쳐 Weakly-Supervised Clustering을 구현합니다.위와 같은 Multi-Modal을 활용해 기존 VAE를 활용한 Generative Model의 성능을 최적화합니다.Tasks : Weakly-Supervised Clustering, Cross-Modality Multi-Modal Generation, Self-Modality Multi-Modal Generation, Unconditional Multi-Modal GenerationResults..

모델을 구축하다 보면, 네트워크의 부분적 구조마다 Loss를 다르게 적용하고 싶은 경우가 생깁니다. 이번 글에서는 이런 상황일 때, PyTorch에서 Multi-Loss를 구현하는 방법을 전반적으로 살펴보겠습니다. 또한 LLM이나 Generative Model을 다루는 경우 분산 컴퓨팅을 위한 Huggingface 라이브러리의 Accelerator를 활용하기도 합니다. 따라서 기존에 존재하는 PyTorch의 코드를 Accelerator로 적용하는 방법을 살펴보고, 이 때도 Multi-Loss를 구현하면서 어떤 것을 주의해야하는지도 살펴보려고합니다.1. PyTorch     a. 기본 구조     b. Multi-Loss 2. Accelerate     a. PyTorch에서 Accelerate로     ..

PyTorch Lightning은 PyTorch 코드를 구조화하고 간결하게 만들어주는 라이브러리로, 모델 학습 & 검증을 관리하기 쉽게 해줍니다.  이번 글에서는 PyTorch Lightning을 사용하는 방법과 Multi-Node를 포함한 Distributed Computing 방법들을 살펴보려고합니다. 그리고 마지막엔 PyTorch Lightning을 Multi-node distributed computing을 위해 사용하는 과정을 간단히 보이겠습니다.1. PyTorch Lightning2. Distributed Computing a. 다양한 Distributed Computing b. Multi Node Setting c. Horovod d. OpenMPI e...

프로젝트를 구성할 때 다양한 프레임워크를 활용해서 구현하시는 경우, 하나의 프로세스를 통해 실행하는 경우가 많습니다. 하지만 이번 글에서는 Python으로 여러개의 프로세스(Process)와 쓰레드(Thread)를 통해 프로젝트를 효율적으로 구성하고 싶은 경우에 대해 정리해 보고자 합니다. 1. Concept a. Process & Thread b. Multi-Process c. Multi-Thread 2. Inter-Process Communication a. Message Queue b. Shared Memory c. Memory Map d. Socket 3. Synchronization a. Mutex b. Semaphore c. Conditional Variable 4. Example a. Ser..

Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Bai_TransFusion_Robust_LiDAR-Camera_Fusion_for_3D_Object_Detection_With_Transformers_CVPR_2022_paper.pdf Authors Huawei + Hong Kong Univ, CVPR’22 Main Idea Image와 Lidar간의 hard association을 soft association으로 대체 Tasks : 3D Object Detection Results : Waymo, nuScences (Leaderboard) 1. Problem : LiDAR-Camera fusion의 문제점 2. Approach : Soft..