이번 글에서는 학습에 활용되는 Optimizer와 Learning Rate Scheduler를 살펴보고자 합니다. 보통 PyTorch를 활용해 학습을 하는 경우 epoch와 step에 따라서 아래 코드와 같이 구현을 하곤합니다.** Pytorch Tutorial : https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate** Pytorch Lightning : https://lightning.ai/docs/pytorch/stable/common/optimization.html#automatic-optimizationfrom torch import optimfrom torch.optim.lr_scheduler import Exponent..

PyTorch Lightning은 PyTorch 코드를 구조화하고 간결하게 만들어주는 라이브러리로, 모델 학습 & 검증을 관리하기 쉽게 해줍니다.  이번 글에서는 PyTorch Lightning을 사용하는 방법과 Multi-Node를 포함한 Distributed Computing 방법들을 살펴보려고합니다. 그리고 마지막엔 PyTorch Lightning을 Multi-node distributed computing을 위해 사용하는 과정을 간단히 보이겠습니다.1. PyTorch Lightning2. Distributed Computing     a. 다양한 Distributed Computing     b. Multi Node Setting     c. Horovod     d. OpenMPI     e...

A. 수단- OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS- Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter- Module Bundler  : React, Webpack, ParcelB. 언어- C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSSC. 라이브러리 및 프레임워크 및 SDK- OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상)PyTorch 모델을 활용하다보면 모델의 구조와 관..

A. 수단 - OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS - Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter - Module Bundler : React, Webpack, Parcel B. 언어 - C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSS C. 라이브러리 및 프레임워크 및 SDK - OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상) copy 방법에는 얕은 복사와 깊은 복..

A. 수단 - OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS - Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter - Module Bundler : React, Webpack, Parcel B. 언어 - C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSS C. 라이브러리 및 프레임워크 및 SDK - OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상) PyTorch를 활용할 때, GPU 중..

이번엔 Distributed 병렬 처리를 pytorch를 활용해 구현하는 방법에 대해 다뤄보고자 합니다.먼저 용어에 대해서 확실히 정리하고 나가자면 아래와 같습니다.Concurrent Computing (동시) : single 코어 혹은 multi 코어 에서 "동시에 처리되는 것으로 보이는 것"으로, hardware 구조로 인한 것이라기보다 software 구조로 인한 논리적 연산입니다. Parallel보다는 조금더 general한 개념입니다.Parallel Computing (병렬) : multi 코어에서 "동시에 처리되는 것"으로 hardware 구조에 의한 물리적 연산입니다.Distributed Computing (분산) : Link로 연결된 여러 개의 노드 혹은 프로세서에서 message pass..