모델을 구축하다 보면, 네트워크의 부분적 구조마다 Loss를 다르게 적용하고 싶은 경우가 생깁니다. 이번 글에서는 이런 상황일 때, PyTorch에서 Multi-Loss를 구현하는 방법을 전반적으로 살펴보겠습니다. 또한 LLM이나 Generative Model을 다루는 경우 분산 컴퓨팅을 위한 Huggingface 라이브러리의 Accelerator를 활용하기도 합니다. 따라서 기존에 존재하는 PyTorch의 코드를 Accelerator로 적용하는 방법을 살펴보고, 이 때도 Multi-Loss를 구현하면서 어떤 것을 주의해야하는지도 살펴보려고합니다.1. PyTorch     a. 기본 구조     b. Multi-Loss 2. Accelerate     a. PyTorch에서 Accelerate로     ..

A. 수단- OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS- Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter- Module Bundler  : React, Webpack, ParcelB. 언어- C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSSC. 라이브러리 및 프레임워크 및 SDK- OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상) Huggingface는 많은 데이터셋과 모델을 가..

A. 수단 - OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS - Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter - Module Bundler : React, Webpack, Parcel B. 언어 - C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSS C. 라이브러리 및 프레임워크 및 SDK - OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상) Diffusion을 활용해 생성 모델을..