모델을 구축하다 보면, 네트워크의 부분적 구조마다 Loss를 다르게 적용하고 싶은 경우가 생깁니다. 이번 글에서는 이런 상황일 때, PyTorch에서 Multi-Loss를 구현하는 방법을 전반적으로 살펴보겠습니다. 또한 LLM이나 Generative Model을 다루는 경우 분산 컴퓨팅을 위한 Huggingface 라이브러리의 Accelerator를 활용하기도 합니다. 따라서 기존에 존재하는 PyTorch의 코드를 Accelerator로 적용하는 방법을 살펴보고, 이 때도 Multi-Loss를 구현하면서 어떤 것을 주의해야하는지도 살펴보려고합니다.1. PyTorch     a. 기본 구조     b. Multi-Loss 2. Accelerate     a. PyTorch에서 Accelerate로     ..

이번 글에서는 학습에 활용되는 Optimizer와 Learning Rate Scheduler를 살펴보고자 합니다. 보통 PyTorch를 활용해 학습을 하는 경우 epoch와 step에 따라서 아래 코드와 같이 구현을 하곤합니다.** Pytorch Tutorial : https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate** Pytorch Lightning : https://lightning.ai/docs/pytorch/stable/common/optimization.html#automatic-optimizationfrom torch import optimfrom torch.optim.lr_scheduler import Exponent..

PyTorch Lightning은 PyTorch 코드를 구조화하고 간결하게 만들어주는 라이브러리로, 모델 학습 & 검증을 관리하기 쉽게 해줍니다.  이번 글에서는 PyTorch Lightning을 사용하는 방법과 Multi-Node를 포함한 Distributed Computing 방법들을 살펴보려고합니다. 그리고 마지막엔 PyTorch Lightning을 Multi-node distributed computing을 위해 사용하는 과정을 간단히 보이겠습니다.1. PyTorch Lightning2. Distributed Computing     a. 다양한 Distributed Computing     b. Multi Node Setting     c. Horovod     d. OpenMPI     e...

프로젝트를 구성할 때 다양한 프레임워크를 활용해서 구현하시는 경우, 하나의 프로세스를 통해 실행하는 경우가 많습니다. 하지만 이번 글에서는 Python으로 여러개의 프로세스(Process)와 쓰레드(Thread)를 통해 프로젝트를 효율적으로 구성하고 싶은 경우에 대해 정리해 보고자 합니다. 1. Concept a. Process & Thread b. Multi-Process c. Multi-Thread 2. Inter-Process Communication a. Message Queue b. Shared Memory c. Memory Map d. Socket 3. Synchronization a. Mutex b. Semaphore c. Conditional Variable 4. Example a. Ser..

이번엔 다양한 논문 및 네트워크 아키텍처에서 자주 활용되는 Attention Layer를 구축한 사례에 대해서 정리해보고자합니다. 물론 내가 만드는 네트워크의 'task에 따라서', '원하는 input feature의 modal'에 따라서 다양하게 사용할 수 있겠지만, 보통 어떻게 활용되는지 혹은 왜 쓰는지에 대해 파악하고 나면 사용하기 쉬울 것이라는 생각이 듭니다. 해당 코드는 Transformer, DeTR, 3DeTR 세가지 모델을 참조했으며, 각각 코드는 아래에서 참조했습니다.Transformer : https://github.com/hyunwoongko/transformerDeTR : https://github.com/facebookresearch/detr3DeTR : https://github..

기존에 PP(Procedural Programming, 절차 지향 프로그래밍)에서는 일부분의 코드를 고치기 위해 전체를 다시 설계해야하는 단점이 있었습니다. 따라서 유연성과 재사용성을 높이기위해 OOP(Object Oriented Programming, 객체 지향 프로그래밍)가 등장했고, Java, C++, C#과 같은 객체 지향 프로그래밍 언어들의 중요성이 강조되고 있습니다. 먼저 간단히 OOP의 3요소 5원칙에 대해 소개하겠습니다. 먼저, 3요소는 아래와 같습니다. 캡슐화(Encapsulation) : 정보를 은닉하기 위해 속성을 숨기고, 기능을 공개하는 것. 상속(Inheritance) : 부모 클래스를 재사용하고 확장하는 것. 다형성(Polymorphism) : 사용편의를 위해 하나의 객체가 Ov..