딥러닝 등 다양한 Computationally Expensive한 어플리케이션의 등장으로 병렬처리에 대한 요구가 많이 늘어났습니다. 우리는 자동화된 병렬화를 지원하는 다양한 프레임워크 및 라이브러리(deepspeed, pytorch DP & DDP, AWS SMDDP horovod, tensorRT 등)을 통해 병렬처리를 하고 있지만, 근본적으로 병렬화에 필요한 특징이나 어떤 것을 유의 깊게 보아야 할지에 대한 이해를 바탕으로 사용한다면 더욱 최적화된 환경에서 작업이 가능할 것 같기도 합니다. 또한 때로는 Customized된 병렬처리를 위해 직접 내가 만든 로직을 병렬처리를 통해 가속화하고 싶은 경우도 있습니다. 보통 이럴 때 Nvidia에서 제공하는 Toolkit인 CUDA를 활용하는 경우가 대부분이..

이번엔 Distributed 병렬 처리를 pytorch를 활용해 구현하는 방법에 대해 다뤄보고자 합니다.먼저 용어에 대해서 확실히 정리하고 나가자면 아래와 같습니다.Concurrent Computing (동시) : single 코어 혹은 multi 코어 에서 "동시에 처리되는 것으로 보이는 것"으로, hardware 구조로 인한 것이라기보다 software 구조로 인한 논리적 연산입니다. Parallel보다는 조금더 general한 개념입니다.Parallel Computing (병렬) : multi 코어에서 "동시에 처리되는 것"으로 hardware 구조에 의한 물리적 연산입니다.Distributed Computing (분산) : Link로 연결된 여러 개의 노드 혹은 프로세서에서 message pass..

클라우드 컴퓨팅이란 인터넷으로 가상화된 IT 리소스(Server, Platform, Software)를 서비스로 제공하는 것을 의미합니다. AWS와 Azure가 대중화되면서 Cloud를 Infra-structure의 가상화 개념으로만 이해하기도 하지만 Infra 뿐 아니라 platform과 Software까지 포함하는 온라인의 모든 영역을 다루는 광범위한 개념이 클라우드 컴퓨팅입니다. 이를 제공하는 다양한 클라우드 서비스는 아래와 같이 세가지로 나뉩니다. 필자는 "IPS"로 외우게 되었습니다. Infrastructure as a Service(IaaS) : 물리적으로 서버,네트워크,OS,스토리지를 가상화하여 제공 ex) AWS(Amazon Web Service), Microsoft Azure, Googl..

Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Li_DeepFusion_Lidar-Camera_Deep_Fusion_for_Multi-Modal_3D_Object_Detection_CVPR_2022_paper.pdf Authors Google + Johns Hopkins Univ, CVPR’22 Main Idea Image와 Lidar간의 correspondence를 향상시킬 수 있는 방법 제시 Tasks : 3D Object Detection Results : Waymo 1. Problem : Mid-Level Fusion과 Point Decoration 기법의 문제점 2. Approach : InverseAug & LearnableAli..

python 프로젝트를 구성하면서 pip으로 패키지를 관리하고, 때로는 패키지를 직접 만들어 사용하기도 합니다. 이런 다양한 방법들을 정리하고자 합니다. 1. Python 관리하기 a. python과 pip 설치하기 b. 패키지 관리하기 2. 패키지 import 경로 순서 a. 1단계 sys.modules b. 2단계 built-in modules c. 3단계 sys.path (==$PYTHONPATH) 3. custom 패키지 관리하기 a. custom 패키지 구성하기 기초 b. Extension 구성하기 글효과 분류1 : 코드 글효과 분류2 : 폴더/파일 글효과 분류3 : 용어설명 글효과 분류4 : 글 내 참조 1. Python 관리하기 기본적으로 python과 pip을 다루는 것을 먼저 정리하겠습니..

UI Design Tool이란 액정 너머의 화면을 설계 및 프로토타이핑(Prototyping)하고, 서비스에 맞는 톤을 고민하는데 사용할 수 있는 디자인 툴입니다. ** 프로토타이핑(Prototyping) : 개발 과정 초기에 시스템의 모형(Prototype)을 간단히 만든 뒤 실제로 사용해보게끔 하고, 요구사항을 받아 즉각적으로 기능을 수정, 보완하고 개선시켜나가는 방식 UI Design Tool 이전의 과거에는 포토샵(Photoshop)과 일러스트레이터(Illustrator)를 활용해 디자인을 진행했습니다. 포토샵 (Photoshop) 일러스트레이터(Illustrator) 특징 - 비트맵 방식으로, 이미지가 주 목적 - CC 2015 버전부터 포토샵은 artboard 기능이 도입되기도 했습니다. **..