TK(137)
-
[PyTorch] Multi-Loss 그리고 Huggingface Accelerator
모델을 구축하다 보면, 네트워크의 부분적 구조마다 Loss를 다르게 적용하고 싶은 경우가 생깁니다. 이번 글에서는 이런 상황일 때, PyTorch에서 Multi-Loss를 구현하는 방법을 전반적으로 살펴보겠습니다. 또한 LLM이나 Generative Model을 다루는 경우 분산 컴퓨팅을 위한 Huggingface 라이브러리의 Accelerator를 활용하기도 합니다. 따라서 기존에 존재하는 PyTorch의 코드를 Accelerator로 적용하는 방법을 살펴보고, 이 때도 Multi-Loss를 구현하면서 어떤 것을 주의해야하는지도 살펴보려고합니다.1. PyTorch a. 기본 구조 b. Multi-Loss 2. Accelerate a. PyTorch에서 Accelerate로 ..
2025.01.02 -
[Generative] Llama 활용해 이미지에 대한 captioning, tagging하기
A. 수단- OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS- Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter- Module Bundler : React, Webpack, ParcelB. 언어- C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSSC. 라이브러리 및 프레임워크 및 SDK- OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상) LLaMA(Large Language Model ..
2024.12.27 -
[Python] 간단한 Web Crawling 하기
A. 수단- OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS- Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter- Module Bundler : React, Webpack, ParcelB. 언어- C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSSC. 라이브러리 및 프레임워크 및 SDK- OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상) 이번 글에서는 간단하게 크롤링(Crawling)하..
2024.12.18 -
[Generative] Huggingface 데이터 받아 사용하기
A. 수단- OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS- Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter- Module Bundler : React, Webpack, ParcelB. 언어- C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSSC. 라이브러리 및 프레임워크 및 SDK- OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상) Huggingface는 많은 데이터셋과 모델을 가..
2024.12.12 -
[Generative] Simplifying, Stabilizing & Scaling Continuous Time Continuous-time Consistency Models (ICLR’25)
Paper : https://openreview.net/forum?id=LyJi5ugyJxAuthorsYang Song + OpenAI, ICLR’25Main Idea새로운 parametrization TrigFlow를 제안해 기존 discrete-time CM과 continuous-time CM 모두의 성능을 향상합니다.위 formulation은 기존의 EDM, Flow Matching, V-Prediction을 통합한 개념입니다.위 formulation을 통해 기존 continuous-time CM의 instability의 원인을 파악해 개선이 가능합니다.이런 formulation 내에서 instability를 극복하기 위한 네트워크 구조와 Training Objective를 제안해 학습한 sCM을 ..
2024.12.04 -
[Python] 객체 데이터 저장하고 불러오기
A. 수단- OS/Platform/Tool : Linux, Kubernetes(k8s), Docker, AWS- Package Manager : node.js, yarn, brew, - Compiler/Transpillar : React, Nvcc, gcc/g++, Babel, Flutter- Module Bundler : React, Webpack, ParcelB. 언어- C/C++, python, Javacsript, Typescript, Go-Lang, CUDA, Dart, HTML/CSSC. 라이브러리 및 프레임워크 및 SDK- OpenCV, OpenCL, FastAPI, PyTorch, Tensorflow, Nsight 1. What? (현상) 이번 글에서는 list, numpy, torch ..
2024.11.20