TensorRT(TRT)는 Nvidia에서 제공되는 Deep Learning Inference를 위한 SDK입니다. PyTorch, Caffe, Tensorflow 등의 Deep Learning Framework를 활용해 학습된 모델을, 여러 플랫폼에 가장 적합한 Kernel을 선택하며, 각 제품 각 아키텍쳐에 맞는 가속을 자동으로 도와 최적의 GPU 자원을 활용해 Performance를 낼 수 있도록 도와주는 엔진이라고 볼 수 있습니다. ** Kernel : GPU에서 병렬 실행되는 명령의 모음 TensorRT를 이용하지 않고, 직접 CUDA 를 활용해 Custom한 로직으로 최적화할 수도 있으나, Nvidia에서 제공하는 API를 활용하는 것이 작업에 유용하기도 합니다. 이번엔 onnx파일을 활용해 ..

GPGPU(General Purpose GPU)의 등장으로, 기존 GPU(Graphics Processing Unit)의 그래픽처리를 위한 기능 이외에 딥러닝 등의 범용 연산을 위한 장치로 많은 '가능성'을 만들게 되었습니다. 우리가 GPU와 함께 할 수 있는 기능이 많아졌지만, 때로는 GPU의 driver, CUDA 등의 셋팅을 하기 위해 많은 노력을 기울이곤 합니다. 이번엔 GPU의 하드웨어와 소프트웨어의 버전을 구분하고 셋팅을 하기 위한 정보를 정리해보고자 합니다. GPU 셋팅과 더불어 아래 링크를 통해 GPU구조를 파악하실 수 있습니다. https://tkayyoo.tistory.com/31 1. 초기 셋팅하기 a. GPU의 분류 b. 구조를 통해 CUDA 버전 선택하기 c. CUDA를 통해 Dr..

TensorRT(TRT)는 Nvidia에서 제공되는 Deep Learning Inference를 위한 SDK입니다.PyTorch, Caffe, Tensorflow 등의 Deep Learning Framework를 활용해 학습된 모델을,  여러 플랫폼에 가장 적합한 Kernel을 선택하며, 각 제품 각 아키텍쳐에 맞는 가속을 자동으로 도와 최적의 GPU 자원을 활용해 Performance를 낼 수 있도록 도와주는 엔진이라고 볼 수 있습니다.** Kernel : GPU에서 병렬 실행되는 명령의 모음 TensorRT를 이용하지 않고, 직접 CUDA 를 활용해 Custom한 로직으로 최적화할 수도 있으나, Nvidia에서 제공하는 API를 활용하는 것이 작업에 유용하기도 합니다. 이번엔 onnx파일을 활용해 T..