반응형 Deep Learning31 [Model] About Transformer : Attention Is All You Need 이번 포스트는 최근 AI 분야에서 활발하게 활용되고 있는, Attention 구조를 활용한 Transformer 구조에 대해 다뤄보도록 하겠습니다. 우선, Transformer에 대한 논문은 다음과 같습니다. Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new.. 2023. 10. 31. [Model] About Attention Mechanism 이번 포스트는 Transformer의 시초가 되는 Attention에 대해 간단하게 작성해 보도록 하겠습니다. 최근 AI와 관련된 논문들은 Transformer를 기반으로 한 경우가 꽤 많습니다. 그리고 이 Transformer는 Attention이라는 개념을 사용합니다. 이 Attemtion Mechanism은 NLP 분야에서 활용되는 seq2seq Model(≒ Encoder-Decoder Model)의 Sequence의 길이가 길어질수록 정보의 손실이 발생한다는 문제점을 개선하기 위해 제안된 방식입니다. (seq2seq에 대한 자세한 내용은 현재 페이지에서는 생략하도록 하겠습니다. Encoder-Decoder Model에 대한 자세한 내용은 다음 링크를 참조해 주세요.) [Model] About s.. 2023. 10. 31. [Model] About Multi-Head Attention 이번 포스트는 여러 가지 Attention이 종류 중 하나인, Multi-Head Attention에 대해 다뤄볼 예정입니다. Multi-Attention은 다음과 같이 Head의 수만큼 Attention을 각각 병렬로 나누어 계산을 한 후, 생성된 Attention Value들을 Concatenate 하여 하나로 합치는 과정을 의미합니다. 이와 같은 과정을 수행하면 Attention을 한 번 사용할 때와 같은 크기의 결과를 얻을 수 있습니다. 위 과정을 구체적인 예를 통해 다뤄보도록 하겠습니다. 아래 예시 이미지와 같이, 4x4 Size의 Embedding Vector와 4x8의 Query(2x4), Key(2x4), Value(2x4)가 있다면, 일반적인 Attention Mechanism은 [4x4.. 2023. 10. 31. [Model] About Self-Attention 이번 포스트는 Transformer의 근간이 되는 Self-Attention에 대해 다뤄볼 예정입니다. Transformer Model은 RNN 계열의 Model 없이 Attention만을 이용해 언어 모델을 만들고자 제안된 구조입니다. 이러한 Transformer Model은 RNN을 사용하지 않아 연산 효율이 좋아졌고 성능 또한 높아지는 결과를 얻게 되었습니다. NLP 및 CV 등 다양한 분야에서 SOTA를 달성한 Model이 Transformer를 기반으로 하는 Model들이니까요. Transformer Model은 강력한 성능만큼 내용도 꽤 복잡합니다. 그래서 Mechanism의 첫 번째로 Self-Attention에 대해 설명해 보도록 하겠습니다. 우선, Self-Attention의 기본이 되는.. 2023. 10. 31. [Model] About seq2seq (Sequence-To-Sequence) 이번 포스트는 seq2seq Model에 대해 다뤄보고자 합니다. 내용 중에 Encoder-Decoder의 개념도 포함되어 있으니 정리해 나가면서 진행해 보도록 하겠습니다. Sequence-To-Sequence Model은 한 Sequence를 다른 Sequence로 변환하는 작업을 수행하는 Deep Learning Model로 주로 자연어 처리(NLP) 분야에서 많이 활용됩니다. 기계 번역, 뭐... 한국어로 어떤 문장을 입력하면 이를 영어, 일본어, 중국어 등으로 번역하는 기본적인 번역기에 활용되기도 하고 어떤 질문을 입력하면 이에 대응하는 답변을 반환하는 Chatbot에도 활용됩니다. 더 나아가 Text Summarization, Speech To Text, Image Captioning과 같은 I.. 2023. 10. 31. [AI] Google Bard 사용 이번 포스트는 Chat-GPT에 이어 Google에서 출시한 Bard를 사용해 본 결과에 대해 리뷰해보고자 합니다. Google Bard는 2023년 03월 21일에 공개 출시되었습니다. 초반에는 미국과 영국에서만 출시되었지만, 최근 5월 초경에 전 세계 180여 개국에 전면 공개하였는데요. 영어에 이어 한국어를 두 번째로 지원하겠다고 밝혔는데 점차 지원 언어를 늘려갈 계획이라고 합니다. Char-GPT 출시에 따른 대항마인 것 같은데 이러한 Bard의 성능은 어떠한지, Chat-GPT와의 차이점은 무엇인지에 대해 간략하게 다뤄보도록 하겠습니다. 그전에 혹시 아직 Chat-GPT가 무엇인지 잘 모르시는 분들은 다음 포스트를 참고하면 좋을 것 같습니다. [AI] ChatGPT 사용 및 원리 요즘 전세계를 .. 2023. 5. 19. [Code] XNect 이번 포스트는 3D Pose Estimation과 관련된 XNect이라는 논문을 PyTorch를 이용해 구현해볼 것입니다. 우선, Pose Estimation과 XNect이라는 논문에 관한 내용은 다음 포스트를 참조해주세요. [Pose Estimation] 2D/3D Pose Estimation에 관한 내용 Computer Vision과 관련된 AI, Deep Learning 분야에서 거의 필수적으로 다루는 주제가 있습니다. 바로 Pose Estimation인데요. 이번 포스트에서는 이 Pose Estimation에 관한 내용을 다루고자 합니다. Pose Estimation mj-thump-thump-story.tistory.com [Model] VNect과 XNect 이번 포스트는 Pose Estima.. 2023. 4. 4. [Code] VNect 이번 포스트는 3D Pose Estimation과 관련된 VNect이라는 논문을 TensorFlow를 이용해 구현해 볼 것입니다. 우선, Pose Estimation과 VNect이라는 논문에 대한 내용은 다음 포스트를 참조해주세요. [Pose Estimation] 2D/3D Pose Estimation에 관한 내용 Computer Vision과 관련된 AI, Deep Learning 분야에서 거의 필수적으로 다루는 주제가 있습니다. 바로 Pose Estimation인데요. 이번 포스트에서는 이 Pose Estimation에 관한 내용을 다루고자 합니다. Pose Estimation mj-thump-thump-story.tistory.com [Model] VNect과 XNect 이번 포스트는 Pose Es.. 2023. 3. 13. [Model] VNect과 XNect 이번 포스트는 Pose Estimation과 관련된 논문 중 하나인, VNect과 XNect이라는 것에 대해 다뤄보도록 하겠습니다. 해당 논문은 RGB 카메라를 통해 사람의 자세를 추정하는 방법을 다룬 것입니다. 우선, 각 논문은 다음 링크를 참조해 주세요. VNect (Real-Time 3D Human Pose Estimation With A Single RGB Camera) VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera We present the first real-time method to capture the full global 3D skeletal pose of a human in a stable, temporally c.. 2023. 3. 13. [Code] MobileNet v1 이전, MobileNet v1에 대해서 알아보았습니다. 이번 포스트에서는 MobileNet v1을 코드로 구현하는 부분을 다룰 것입니다. 우선, MobileNet v1의 이론적인 부분에 대한 내용은 다음과 같습니다. [Model] MobileNet v1 개발자로서 스트레스를 많이 받는 것 중 하나는 수행 속도입니다. 특히, AI 그리고 Deep Learning에서의 처리 속도 개선은 어려운 작업 중 하나입니다. 이와 관련된 고민들을 통해 만들어진 MobileNet에 mj-thump-thump-story.tistory.com 위 페이지에서도 언급되었지만, 코드 생성을 위해 다시 언급해 봅니다. ㅎㅎ MobileNet v1은 다음과 같은 Architecture를 갖습니다. 위 표에서 몇가지 단어(?)들이 의.. 2023. 3. 8. [Model] RefineDet 오늘 포스트는 Object Detection 분야에서 언급되는 Model 중의 하나인 RefineDet에 대해 작성하고자 합니다. 우선, RefineDet에 대한 논문은 다음과 같습니다. Single-Shot Refinement Neural Network for Object Detection For object detection, the two-stage approach (e.g., Faster R-CNN) has been achieving the highest accuracy, whereas the one-stage approach (e.g., SSD) has the advantage of high efficiency. To inherit the merits of both while overcoming.. 2023. 3. 6. [Model] SSD (Single Shot Detector) 이번 포스트에서는 YOLO와 비슷한 계열이며, 많이 활용되는 모델 중 하나인 SSD에 대해 다뤄보고자 합니다. 우선, SSD에 대한 논문은 다음과 같습니다. SSD: Single Shot MultiBox Detector We present a method for detecting objects in images using a single deep neural network. Our approach, named SSD, discretizes the output space of bounding boxes into a set of default boxes over different aspect ratios and scales per feature map location. At arxiv.org SSD는 Sin.. 2023. 3. 2. [Model] YOLO v1 Object Detection을 수행할 때, 많이 사용하는 Model 중 하나인 YOLO에 대해 작성해보고자 합니다. 우선, YOLO는 Joseph Redmon이 v1 ~ v3까지 개발을 진행하였고 이후 버전들은 꾸준히 다른 여러 개발자들에 의해 발표되고 있습니다. 각 버전에 대한 논문은 다음과 같습니다. (2023년 2월 기준으로는 YOLO v8까지 발표된 것 같습니다.) YOLO v1 You Only Look Once: Unified, Real-Time Object Detection We present YOLO, a new approach to object detection. Prior work on object detection repurposes classifiers to perform detec.. 2023. 2. 23. [Model] R-CNN 이번 포스트는, Object Detection의 초기 Model인 R-CNN에 대해 간단히 정리해보고자 합니다. 우선, R-CNN에 대한 논문은 다음과 같습니다. Rich feature hierarchies for accurate object detection and semantic segmentation Object detection performance, as measured on the canonical PASCAL VOC dataset, has plateaued in the last few years. The best-performing methods are complex ensemble systems that typically combine multiple low-level image featu.. 2023. 2. 23. [Model] FPN 이번 포스트에서는 FPN이라는 Network에 대해 정리해보고자 합니다. 우선, FPN에 대한 논문은 다음과 같습니다. Feature Pyramid Networks for Object Detection Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep learning object detectors have avoided pyramid representations, in part because they are compute and memory intensive. In this paper, w arxiv.org 이미지에 포함되어 있는 다양한 크.. 2023. 2. 22. 이전 1 2 3 다음 반응형
