반응형 network15 [Model] About Transformer : Attention Is All You Need 이번 포스트는 최근 AI 분야에서 활발하게 활용되고 있는, Attention 구조를 활용한 Transformer 구조에 대해 다뤄보도록 하겠습니다. 우선, Transformer에 대한 논문은 다음과 같습니다. Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new.. 2023. 10. 31. [Model] About Attention Mechanism 이번 포스트는 Transformer의 시초가 되는 Attention에 대해 간단하게 작성해 보도록 하겠습니다. 최근 AI와 관련된 논문들은 Transformer를 기반으로 한 경우가 꽤 많습니다. 그리고 이 Transformer는 Attention이라는 개념을 사용합니다. 이 Attemtion Mechanism은 NLP 분야에서 활용되는 seq2seq Model(≒ Encoder-Decoder Model)의 Sequence의 길이가 길어질수록 정보의 손실이 발생한다는 문제점을 개선하기 위해 제안된 방식입니다. (seq2seq에 대한 자세한 내용은 현재 페이지에서는 생략하도록 하겠습니다. Encoder-Decoder Model에 대한 자세한 내용은 다음 링크를 참조해 주세요.) [Model] About s.. 2023. 10. 31. [Model] About Multi-Head Attention 이번 포스트는 여러 가지 Attention이 종류 중 하나인, Multi-Head Attention에 대해 다뤄볼 예정입니다. Multi-Attention은 다음과 같이 Head의 수만큼 Attention을 각각 병렬로 나누어 계산을 한 후, 생성된 Attention Value들을 Concatenate 하여 하나로 합치는 과정을 의미합니다. 이와 같은 과정을 수행하면 Attention을 한 번 사용할 때와 같은 크기의 결과를 얻을 수 있습니다. 위 과정을 구체적인 예를 통해 다뤄보도록 하겠습니다. 아래 예시 이미지와 같이, 4x4 Size의 Embedding Vector와 4x8의 Query(2x4), Key(2x4), Value(2x4)가 있다면, 일반적인 Attention Mechanism은 [4x4.. 2023. 10. 31. [Model] About Self-Attention 이번 포스트는 Transformer의 근간이 되는 Self-Attention에 대해 다뤄볼 예정입니다. Transformer Model은 RNN 계열의 Model 없이 Attention만을 이용해 언어 모델을 만들고자 제안된 구조입니다. 이러한 Transformer Model은 RNN을 사용하지 않아 연산 효율이 좋아졌고 성능 또한 높아지는 결과를 얻게 되었습니다. NLP 및 CV 등 다양한 분야에서 SOTA를 달성한 Model이 Transformer를 기반으로 하는 Model들이니까요. Transformer Model은 강력한 성능만큼 내용도 꽤 복잡합니다. 그래서 Mechanism의 첫 번째로 Self-Attention에 대해 설명해 보도록 하겠습니다. 우선, Self-Attention의 기본이 되는.. 2023. 10. 31. [Code] XNect 이번 포스트는 3D Pose Estimation과 관련된 XNect이라는 논문을 PyTorch를 이용해 구현해볼 것입니다. 우선, Pose Estimation과 XNect이라는 논문에 관한 내용은 다음 포스트를 참조해주세요. [Pose Estimation] 2D/3D Pose Estimation에 관한 내용 Computer Vision과 관련된 AI, Deep Learning 분야에서 거의 필수적으로 다루는 주제가 있습니다. 바로 Pose Estimation인데요. 이번 포스트에서는 이 Pose Estimation에 관한 내용을 다루고자 합니다. Pose Estimation mj-thump-thump-story.tistory.com [Model] VNect과 XNect 이번 포스트는 Pose Estima.. 2023. 4. 4. [Code] VNect 이번 포스트는 3D Pose Estimation과 관련된 VNect이라는 논문을 TensorFlow를 이용해 구현해 볼 것입니다. 우선, Pose Estimation과 VNect이라는 논문에 대한 내용은 다음 포스트를 참조해주세요. [Pose Estimation] 2D/3D Pose Estimation에 관한 내용 Computer Vision과 관련된 AI, Deep Learning 분야에서 거의 필수적으로 다루는 주제가 있습니다. 바로 Pose Estimation인데요. 이번 포스트에서는 이 Pose Estimation에 관한 내용을 다루고자 합니다. Pose Estimation mj-thump-thump-story.tistory.com [Model] VNect과 XNect 이번 포스트는 Pose Es.. 2023. 3. 13. [Model] VNect과 XNect 이번 포스트는 Pose Estimation과 관련된 논문 중 하나인, VNect과 XNect이라는 것에 대해 다뤄보도록 하겠습니다. 해당 논문은 RGB 카메라를 통해 사람의 자세를 추정하는 방법을 다룬 것입니다. 우선, 각 논문은 다음 링크를 참조해 주세요. VNect (Real-Time 3D Human Pose Estimation With A Single RGB Camera) VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera We present the first real-time method to capture the full global 3D skeletal pose of a human in a stable, temporally c.. 2023. 3. 13. [Code] MobileNet v1 이전, MobileNet v1에 대해서 알아보았습니다. 이번 포스트에서는 MobileNet v1을 코드로 구현하는 부분을 다룰 것입니다. 우선, MobileNet v1의 이론적인 부분에 대한 내용은 다음과 같습니다. [Model] MobileNet v1 개발자로서 스트레스를 많이 받는 것 중 하나는 수행 속도입니다. 특히, AI 그리고 Deep Learning에서의 처리 속도 개선은 어려운 작업 중 하나입니다. 이와 관련된 고민들을 통해 만들어진 MobileNet에 mj-thump-thump-story.tistory.com 위 페이지에서도 언급되었지만, 코드 생성을 위해 다시 언급해 봅니다. ㅎㅎ MobileNet v1은 다음과 같은 Architecture를 갖습니다. 위 표에서 몇가지 단어(?)들이 의.. 2023. 3. 8. [Model] RefineDet 오늘 포스트는 Object Detection 분야에서 언급되는 Model 중의 하나인 RefineDet에 대해 작성하고자 합니다. 우선, RefineDet에 대한 논문은 다음과 같습니다. Single-Shot Refinement Neural Network for Object Detection For object detection, the two-stage approach (e.g., Faster R-CNN) has been achieving the highest accuracy, whereas the one-stage approach (e.g., SSD) has the advantage of high efficiency. To inherit the merits of both while overcoming.. 2023. 3. 6. [Model] SSD (Single Shot Detector) 이번 포스트에서는 YOLO와 비슷한 계열이며, 많이 활용되는 모델 중 하나인 SSD에 대해 다뤄보고자 합니다. 우선, SSD에 대한 논문은 다음과 같습니다. SSD: Single Shot MultiBox Detector We present a method for detecting objects in images using a single deep neural network. Our approach, named SSD, discretizes the output space of bounding boxes into a set of default boxes over different aspect ratios and scales per feature map location. At arxiv.org SSD는 Sin.. 2023. 3. 2. [Model] YOLO v1 Object Detection을 수행할 때, 많이 사용하는 Model 중 하나인 YOLO에 대해 작성해보고자 합니다. 우선, YOLO는 Joseph Redmon이 v1 ~ v3까지 개발을 진행하였고 이후 버전들은 꾸준히 다른 여러 개발자들에 의해 발표되고 있습니다. 각 버전에 대한 논문은 다음과 같습니다. (2023년 2월 기준으로는 YOLO v8까지 발표된 것 같습니다.) YOLO v1 You Only Look Once: Unified, Real-Time Object Detection We present YOLO, a new approach to object detection. Prior work on object detection repurposes classifiers to perform detec.. 2023. 2. 23. [Model] R-CNN 이번 포스트는, Object Detection의 초기 Model인 R-CNN에 대해 간단히 정리해보고자 합니다. 우선, R-CNN에 대한 논문은 다음과 같습니다. Rich feature hierarchies for accurate object detection and semantic segmentation Object detection performance, as measured on the canonical PASCAL VOC dataset, has plateaued in the last few years. The best-performing methods are complex ensemble systems that typically combine multiple low-level image featu.. 2023. 2. 23. [Model] FPN 이번 포스트에서는 FPN이라는 Network에 대해 정리해보고자 합니다. 우선, FPN에 대한 논문은 다음과 같습니다. Feature Pyramid Networks for Object Detection Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep learning object detectors have avoided pyramid representations, in part because they are compute and memory intensive. In this paper, w arxiv.org 이미지에 포함되어 있는 다양한 크.. 2023. 2. 22. [Model] RetinaNet 이번 포스트는 RetinaNet에 대해 정리해보고자 합니다. Object Detection 및 Keypoints Detection을 수행할 경우, ResNet과 비슷하게 많이 사용되는 Model이 RetinaNet이라고 생각됩니다. 해당 모델은 ResNet을 Backbone으로 하고 있으며 일부 더 나은 결과를 보이기도 합니다. 우선, RetinaNet에 대한 논문은 다음과 같습니다. Focal Loss for Dense Object Detection The highest accuracy object detectors to date are based on a two-stage approach popularized by R-CNN, where a classifier is applied to a sparse.. 2023. 2. 22. [Model] MobileNet v1 개발자로서 스트레스를 많이 받는 것 중 하나는 수행 속도입니다. 특히, AI 그리고 Deep Learning에서의 처리 속도 개선은 어려운 작업 중 하나입니다. 이와 관련된 고민들을 통해 만들어진 MobileNet에 대해 간단하게 설명해보고자 합니다. 보통 개발자 입장에서 AI라고 하면 가장 먼저 떠오르는 것들 중 하나는 GPU일 것입니다. 2016년 이세돌과 대결했던 알파고는 GPU대신 48개의 TPU를 사용했고 판후이와의 대결에서는 1202개의 CPU와 176개의 GPU를 사용했다고 합니다. 즉, 엄청난 컴퓨팅 파워를 사용해야 쓸만한 뭔가가 나온다는 얘기가 되는 것이죠. 그러나 현실에서는 위와 같은 컴퓨팅 파워를 갖기에는 한계가 있습니다. 자동차, 드론, 스마트폰과 같은 환경에서는 GPU는커녕, 기껏.. 2023. 2. 21. 이전 1 다음 반응형
