반응형 Encoder-Decoder3 [Model] About Transformer : Attention Is All You Need 이번 포스트는 최근 AI 분야에서 활발하게 활용되고 있는, Attention 구조를 활용한 Transformer 구조에 대해 다뤄보도록 하겠습니다. 우선, Transformer에 대한 논문은 다음과 같습니다. Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new.. 2023. 10. 31. [Model] About Attention Mechanism 이번 포스트는 Transformer의 시초가 되는 Attention에 대해 간단하게 작성해 보도록 하겠습니다. 최근 AI와 관련된 논문들은 Transformer를 기반으로 한 경우가 꽤 많습니다. 그리고 이 Transformer는 Attention이라는 개념을 사용합니다. 이 Attemtion Mechanism은 NLP 분야에서 활용되는 seq2seq Model(≒ Encoder-Decoder Model)의 Sequence의 길이가 길어질수록 정보의 손실이 발생한다는 문제점을 개선하기 위해 제안된 방식입니다. (seq2seq에 대한 자세한 내용은 현재 페이지에서는 생략하도록 하겠습니다. Encoder-Decoder Model에 대한 자세한 내용은 다음 링크를 참조해 주세요.) [Model] About s.. 2023. 10. 31. [Model] About seq2seq (Sequence-To-Sequence) 이번 포스트는 seq2seq Model에 대해 다뤄보고자 합니다. 내용 중에 Encoder-Decoder의 개념도 포함되어 있으니 정리해 나가면서 진행해 보도록 하겠습니다. Sequence-To-Sequence Model은 한 Sequence를 다른 Sequence로 변환하는 작업을 수행하는 Deep Learning Model로 주로 자연어 처리(NLP) 분야에서 많이 활용됩니다. 기계 번역, 뭐... 한국어로 어떤 문장을 입력하면 이를 영어, 일본어, 중국어 등으로 번역하는 기본적인 번역기에 활용되기도 하고 어떤 질문을 입력하면 이에 대응하는 답변을 반환하는 Chatbot에도 활용됩니다. 더 나아가 Text Summarization, Speech To Text, Image Captioning과 같은 I.. 2023. 10. 31. 이전 1 다음 반응형
