NLP
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks(ACL 2020)
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks 0. Abstract 다양한 source의 text로 pre-training을 수행한 모델은 오늘날 NLP의 토대를 형성 pre-trained model을 target task의 도메인에 맞게 조정하는 것이 여전히 도움이 되는지 확인 4개의 도메인(biomedical, computer science publications, news, reviews)과 8개의 classification task를 통해 study `domain-adaptive pretraining`이 리소스가 많은 환경과 적은 환경 모두에서 성능 향상을 이루어냄을 보임 unlabeled data에 adapting 하는 `..
