NLP
[Paper Review] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and comprehension(2019)
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 0. Abstract sequence-to-sequence model을 pre-training하기 위한 denoising autoencoder, `BART`를 제안 BART는 두 가지 과정을 통해 학습 임의의 `noising function`을 통해 text를 손상 손상된 text를 통해 original text를 재구성하며 모델을 학습 단순함에도 불구하고 BERT(bidirectional encoder로 인해), GPT(left-to-right decoder) 등 현재의 최신 pre-training 체..
