오늘 살펴볼 논문은 ” Instruction Pre-Training: Language Models are Supervised Multitask Learners “이다. 저번에 살펴본 논문에서 데이터를 합성하는 MEGPIE를 살펴보았는데, 오늘도 이어서 LLM을 이용한 데이터 합성과 관련된 논문을 살펴보았다.   아래의 그림은 논문에서 제안된 Instruction Pre-Training의 방법을 나타낸다.   그림 1. 기존의 사전학습 방법과 제안된 Instruction Pre-training 방법의 비교   더 읽기