๐ฌ NLP/Attention & Transformer
Attention Is All You Need(NIPS 2017) 0. Abstract Sequence transduction ๋ชจ๋ธ์ `RNN` ํน์ `CNN`์ ๊ธฐ๋ฐํ๋ฉฐ `Encoder-Decoder` ๊ตฌ์กฐ๋ฅผ ํฌํจ ๊ฐ์ฅ ์ข์ ์ฑ๋ฅ์ ๊ธฐ๋กํ ๋ชจ๋ธ๋ค๋ Encoder์ Decoder๋ฅผ `Attention mechanism`์ผ๋ก ์ฐ๊ฒฐ ๋ณธ ๋
ผ๋ฌธ์ RNN๊ณผ CNN์ ์์ ํ ๋ฐฐ์ ํ, ์ค์ง Attention mechanism์ ๊ธฐ๋ฐํ ์๋ก์ด ๋คํธ์ํฌ `Transformer`๋ฅผ ์ ์ Transformer๋ ๋ณ๋ ฌํ๊ฐ ๊ฐ๋ฅํ๋ฉฐ, ํ๋ จ์ ์ ์ ์๊ฐ์ด ์์๋จ๊ณผ ๋์์ ๋ ๊ฐ์ ๋ฒ์ญ task์์ ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ WMT 2014 English-German Translation task์์ 28.4 BLEU์ ๊ธฐ๋กํ์ฌ ์ต๊ณ ์ ..
๐ฌ NLP/Attention & Transformer
Effective Approaches to Attention-based Neural Machine Translation(EMNLP 2015) 0. Abstract `Attention` mehanism์ ๋ฒ์ญ ๊ณผ์ ์์ source sentence๋ฅผ ์ ํ์ ์ผ๋ก focusing ํ๋ ๋ฐฉ์์ผ๋ก NMT(Neural Machine Translation)๋ฅผ ๊ฐ์ ์ํค๋ ๋ฐ ์ฌ์ฉ๋จ ๊ทธ๋ฌ๋ NMT ๋ถ์ผ์์ ๋์ฑ ํจ์จ์ ์ผ๋ก attention์ ์ฌ์ฉํ๋ architecture๋ฅผ ํ์ํ๋ ์์
์ ๊ฑฐ์ ์์์ 2๊ฐ์ ๊ฐ๋จํ๊ณ ํจ๊ณผ์ ์ธ Attention Mechanism์ ์ ์ ํญ์ ๋ชจ๋ source word๋ฅผ ํ์ฉํ๋ `global` attentional model ํ ๋ฒ์ source word์ subset๋ง ํ์ฉํ๋ `loc..
๐ฌ NLP/Attention & Transformer
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale(ViT)(ICLR 2021) Abstract `Transformer` ๊ตฌ์กฐ๊ฐ NLP task์์ ์ฌ์ค์ ๊ธฐ์ค์ด ๋๋ ๋์ Computer Vision์์์ ์์ฉ์ ์ ํ์ Vison์์ `Attention`์ Convolutional networks์ ํจ๊ป ์ ์ฉํ๊ฑฐ๋ ์ ์ฒด ๊ตฌ์กฐ๋ฅผ ๊ทธ๋๋ก ์ ์งํ๋ฉด์ Convolution Network์ ํน์ ๊ตฌ์ฑ ์์๋ฅผ ๋์ฒดํ๋ ๋ฐ ์ฌ์ฉ CNN์ ์์กดํ ํ์๊ฐ ์์ผ๋ฉฐ Image patches์ sequences์ ์ง์ ์ ์ฉ๋ pure transformer๊ฐ Image classification task์์ ๋งค์ฐ ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ ๋๋์ ๋ฐ์ด..
๐ฌ NLP/Attention & Transformer
Transformer `Transformer`๋ `Attention`์ ์ฌ์ฉํ๋ฉด์ ํ์ต๊ณผ ๋ณ๋ ฌํ๋ฅผ ์ฝ๊ฒ ํ์ฌ ์๋๋ฅผ ๋์ธ ๋ชจ๋ธ์ด๋ค. Transformer๋ `Seq2Seq` ๋ชจ๋ธ๊ณผ ๊ฐ์ด ์์ฐจ์ ์ผ๋ก input ํ ํฐ์ ์ฒ๋ฆฌํ๋ ๊ฒ์ด ์๋๋ผ ์ด๋ฅผ ํ๊บผ๋ฒ์ ์ฒ๋ฆฌํ๋ค.Transformer ๋ชจ๋ธ์ ๊ธฐ๋ณธ์ ์ธ ๊ตฌ์กฐ๋ ๋ค์๊ณผ ๊ฐ๋ค. Transformer ๋ชจ๋ธ์ signle black box์ ๊ฐ์ด ํํํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค. ์ด๋ `RNN` ๊ธฐ๋ฐ์ `Encoder-Decoder` ๊ตฌ์กฐ์ Input๊ณผ Output์ ๋์ผํ๋ค. ๋ํ Transformer๋ฅผ ์์ธํ ๋ค์ฌ๋ค ๋ณด๋ฉด Encoding component์ Decoding Component๊ฐ ๋ฐ๋ก ์กด์ฌํ๋ฉฐ, ์ด๋ฅผ ์ด๋ป๊ฒ ์ฐ๊ฒฐํ๋์ง๊ฐ ๊ฒฐ๊ตญ RNN ๊ตฌ์กฐ์์ ์ฐจ์ด์ ์ด๋ค. Encod..