이것 저것 뚝딱거리는 사람 이것 저것 뚝딱거리는 사람

제가 이해한 내용을 정리한 글입니다. 오류가 있으면 고쳐주세요! BERT, Bidrectional Encoder Representations from Transformers 최근 자연어 처리 분야에서 빠질 수 없는 이름이다. 트랜스포머 계열 중 인코더에 집중한 모델이며, 이를 베이스로 다양한 BERT모델이 만들어졌다. 논문은 여기 배경 사전학습 모델은 자연어 처리 분야에서 굉장히 효과적이다. 현재 사전학습 모델은 크게 2가지가 있는데, ELMo와 같이 특정 Task를 중심으로 사전 학습된 표현식을 추가적으로 사용하는 feature-based모델과 GPT와 같이 Task관련 파라미터를 최소화하고 사전학습된 파라미터를 fine-tuning하는 모델이 있다. 그러나 위 두 예시는 Unidirectional구조..