이번엔 다양한 논문 및 네트워크 아키텍처에서 자주 활용되는 Attention Layer를 구축한 사례에 대해서 정리해보고자합니다. 물론 내가 만드는 네트워크의 'task에 따라서', '원하는 input feature의 modal'에 따라서 다양하게 사용할 수 있겠지만, 보통 어떻게 활용되는지 혹은 왜 쓰는지에 대해 파악하고 나면 사용하기 쉬울 것이라는 생각이 듭니다. 해당 코드는 Transformer, DeTR, 3DeTR 세가지 모델을 참조했으며, 각각 코드는 아래에서 참조했습니다.Transformer : https://github.com/hyunwoongko/transformerDeTR : https://github.com/facebookresearch/detr3DeTR : https://github..

Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Li_DeepFusion_Lidar-Camera_Deep_Fusion_for_Multi-Modal_3D_Object_Detection_CVPR_2022_paper.pdf Authors Google + Johns Hopkins Univ, CVPR’22 Main Idea Image와 Lidar간의 correspondence를 향상시킬 수 있는 방법 제시 Tasks : 3D Object Detection Results : Waymo 1. Problem : Mid-Level Fusion과 Point Decoration 기법의 문제점 2. Approach : InverseAug & LearnableAli..